建立Simulink环境，导入强化学习设计器里，添加代理，进行训练
1. 建立Simulink环境
首先准备好你的Simulink模型，这里还用上节用到的水箱模型。
RL Agent模块报错是由于还没有给其绑定代理，后续会在强化学习设计器里配置，暂时不用理会。
下一步，在MATLAB命令行窗口或脚本里为环境指定状态空间和动作空间以及复位函数，然后创建环境。
% 观测空间形状及每个变量取值上下限obsInfo = rlNumericSpec([3 1],... LowerLimit=[-inf -inf 0 ]',... UpperLimit=[ inf inf inf]');% Name and description are optional and not used by the softwareobsInfo.Name = "observations";obsInfo.Description = "integrated error, error, and measured height";% Action infoactInfo = rlNumericSpec([1 1]);actInfo.Name = "flow";% 创建环境对象env = rlSimulinkEnv("rlwatertank","rlwatertank/RL Agent",... obsInfo,actInfo);% 指定环境复位函数，这里是自定义函数env.ResetFcn = @(in)localResetFcn(in);% 指定仿真时间T f TfTf和代理采样时间T s TsTs，单位是s，这里只是该Simulink模型用到的参数：Ts = 1.0;Tf = 200;新建函数文件localResetFcn.m来提供该复位函数：
function in = localResetFcn(in)% Randomize reference signalblk = sprintf("rlwatertank/Desired \nWater Level");h = 3*randn + 10;while h <= 0 || h >= 20 h = 3*randn + 10;endin = setBlockParameter(in,blk,Value=num2str(h));% Randomize initial heighth = 3*randn + 10;while h <= 0 || h >= 20 h = 3*randn + 10;endblk = "rlwatertank/Water-Tank System/H";in = setBlockParameter(in,blk,InitialCondition=num2str(h));end运行上述代码，使环境对象env出现在工作区。
2. 将环境导入RL设计器
命令行运行如下语句打开RL设计器，选择导入环境env。
reinforcementLearningDesigner
导入后如图所示，环境面板增加了环境env。
3. 配置代理
为导入的环境配置代理。在Reinforcement Learning标签页点击New，在弹出的窗口里，修改隐藏层神经元数量为50，默认的环境即为导入的环境，选择DDPG算法，点击OK。
建立好的代理如下图，按需修改参数：
可以查看Actor和Critic的结构，下图是Actor的：
4. 训练并导出训练结果
转到Train选项卡，修改训练参数，然后开始训练。
训练完成后如图所示，点击Accept保存训练结果。
导出训练结果agent1_Trained。
成功导出到MATLAB工作区。
5. 在Simulink里仿真
在Simulink模块里双击RL Agent模块，为模块绑定训练好的代理。
点击Simulink运行仿真，仿真结果如图。
当然，也可以通过MATLAB命令行运行仿真。
rng(1) % 固定随机数种子方便复现结果simOpts = rlSimulationOptions(MaxSteps=ceil(Tf/Ts),StopOnError="on");experiences = sim(env,agent1_Trained,simOpts);当然，不导出训练结果，直接在RL设计器里运行也是可以的。如下：
先配置仿真参数：
仿真完成后，会展示每轮奖励以及所有轮奖励均值和标准差。
点击Inspect Simulation Data查看仿真结果，也可以点击Clear and Inspect Simulation Data预先清除在上一个会话中加载的任何数据。可以在不同的图中选择查看每一轮仿真的不同的数据。
回到仿真对话窗体，同样点击Accept保存仿真结果，在Results面板自动添加一条experience，双击它可以再次查看上述结果。
最后，保存会话后退出就可以了，后续可以用RL设计器再次打开此会话。
Tips
本节展示了如何用Simulink模型在RL设计器里进行训练，同样地，可以在RL设计器里建立好代理之后导出需要的内容（可导出的内容如下图所示）到MATLAB工作区，然后通过MATLAB脚本进行训练，省去了在MATLAB脚本建立代理的部分过程，而且可以通过脚本修改更多的参数。
当然，综合来看，还是像本节这样直接使用RL设计器更方便更直观，解决一般的问题足够。