在核动力系统中，核动力装置主要由一、二回路组成，蒸汽发生器是连接一、二回路的核心装备，集热交换和蒸汽生产于一体［1］。蒸汽发生器的工作状况直接影响核动力系统的工作性能和安全生产［2］。在核动力蒸汽发生器控制方面，通常采用经典的控制技术，在特定功率下具有良好的控制性能［3-4］。例如，Ablay［5］提出了一种基于鲁棒非线性估计器的最优代数控制方法；Wang等［6］提出了一种用于功率调整的分段离散增益调度PD控制器。部分研究也采用了现代控制手段。例如，对蒸汽发生器水位控制问题分别采用了增益调度PID控制方法和动态滑模控制方法［7-8］。然而，蒸汽发生器现有控制方法在面对更高、更严格的控制性能要求时存在一定局限性。
一方面，现有核动力蒸汽发生器通常采用PID的基础控制框架，以多控制回路实现特定控制目标，但在应对多环境扰动、变工况等复杂问题时，传统控制设计的性能边界受限，在大范围工况变化或大扰动时无法发挥出高性能水平；另一方面，网络攻击正向工业互联网领域渗透，国际上工业互联网安全事件频发，如伊朗核电站“震网”病毒事件、乌克兰持续断电事件等［9］。传统控制对未知非设计工况与通信故障下的性能表现较差。因此，探索设计一种控制性能优异且具有对多种未知工况和通信故障强自适应能力的控制方法十分必要［10］。
近年来，数据驱动的强化学习（reinforcement learning，RL）技术凭借其智能、灵活和自主等优势，已成为一种应用于非线性及随机系统的强大决策工具［11］。RL在国内外多个领域的研究中也颇有进展，例如，Silver等［12］基于强化学习算法设计的AlphaGo在围棋游戏中战胜了人类围棋大师。作为一种重要的强化学习方法，深度强化学习是一种基于试错的参数调节收敛算法，凭借其自适应性和自学习特征，使得该算法具有解决复杂控制问题的能力［13］。例如，Chen［14］考虑多智能体系统协同控制问题，提出了深度强化学习的无人机集群的飞行控制方法，在智能驾驶［15］、机器人［16］和飞行器控制［17］等领域同样有所应用。同时，针对系统运行中受到干扰、未知通信故障、复杂约束等问题，MPC也被应用于工业领域，如机器人控制［18］、交通控制［19］、电力控制［20］等。对于时滞和未知攻击问题，预测模型通常有助于估计延迟时间，在系统遭受攻击时还能为控制系统提供合理有效的控制补偿［21］。因此，将深度强化学习与MPC结合可充分发挥各自优势，既提高控制性能，又在系统遭遇未知通信故障和干扰后仍能输出精确补偿数据，保证系统安全运行。
本文将DDPG用于核动力蒸汽发生器系统控制，充分利用其智能自适应调节能力，自主探索控制规律，可有效解决系统复杂性、建模过程中存在的未建模动态与高性能控制要求的突出矛盾，克服基于模型控制的局限性，实现核动力系统稳定、准确、快速的控制。同时，考虑蒸汽发生器系统遭遇未知通信故障问题，引入MPC控制器在系统控制失效时进行预测补偿，可有效缓解传统控制对非设计工况与通信故障性能表现差的情况。本文针对核动力蒸汽发生器系统存在未知通信故障、多变工况等因素，给出基于DDPG方法的蒸汽发生器水位跟踪控制策略，并使用MPC控制对遭受通信故障的系统进行切换，预测数据补偿，最后仿真验证了所提出方法的快速性和鲁棒性。
1 核动力蒸汽发生器模型
本文参考文献［22］中提出的方法，建立了蒸汽发生器系统模型。为了完成控制器设计，蒸汽发生器的结构划分较简单。蒸汽发生器的结构划分如图1 所示，包括3个部分：一次侧传热管和水室内的全部工质、二次侧工质的液相部分、二次侧工质的蒸汽部分。分别对它们进行数学建模。
蒸汽发生器的总体数学模型如式（1） 所示
其中
式中： 为冷却剂平均密度； 为一次侧总容积； 为冷却剂流量； 为冷却剂入口的比焓； 为冷却剂出口的比焓； 为饱和水密度； 为二次侧液相比焓； 为给水比焓； 为二次侧饱和蒸气密度； 为蒸汽发生器给水流量； 为二次侧蒸汽比焓； 为流出的蒸汽流量； 为二次侧容积； 为二次侧的横截面积； 为二次侧饱和蒸汽压力； 为蒸汽发生器二次侧水位； 为一次侧传热管和水室传递到二次侧液相的热能。
2 蒸汽发生器水位模型预测/数据驱动切换控制
由于蒸汽发生器设备工作环境恶劣，动力负荷变化快，系统发生异常和故障的概率也随之提高。因此，为保证系统安全稳定运行，考虑蒸汽发生器系统遭遇未知通信故障下的控制问题，即发生故障时，控制器输出混乱甚至出现失效等情况，设计通信故障下蒸汽发生器水位的模型预测/数据驱动切换控制。
本文通过非周期性的DoS攻击来模拟未知通信故障，如式（2） 所示
式中： 为DoS休眠区间； 为攻击区间。
通信故障下蒸汽发生器水位的模型预测/数据驱动切换控制如图2 所示。首先，通过分析核动力蒸汽发生器运行数据，确定蒸汽发生器各状态参数（实际水位与目标水位差值、蒸汽流量、给水流量、目标水位），并对所得到的运行数据进行归一化处理。然后，针对蒸汽发生器控制性能设计奖励函数与训练停止条件，通过DDPG控制器与蒸汽发生器系统交互，学习控制策略以实现回报最大化，输出控制调节给水阀门开度。最后，设计基于蒸汽发生器参考模型的MPC控制器，它接收实际系统的目标水位值，并实时运行，以便在系统通信故障或阻塞时替换DDPG控制器来施加补偿控制。由此，对DDPG数据驱动控制器、MPC预测补偿控制器、切换策略等进行设计。
2.1 DDPG控制设计
DDPG是一种基于值与策略的强化学习算法，它使用4个神经网络，并行两组快速更新和缓慢更新的神经网络，来提高网络稳定性，如图3 所示。4个网络作用分别为Actor估计网络与环境交互、Critic估计网络通过交互信息更新自身参数并指导Actor估计网络更新、Actor目标网络及Critic目标网络预测下一时刻动作与价值函数。
具体步骤为，Actor估计网络接收系统状态信息s，产生动作a，使环境进入到下一状态s'，得到奖励r；Actor目标网络将经验集合中每次储存的 5个元素中的s'作为网络输入并生成下一动作a'；Critic估计网络计算s和a对应的Q值，即 ；Critic目标网络计算s'和a'对应的Q值，即 。
此外，Critic估计网络通过 、 和奖励r计算反向传播误差，如式（3） 所示
式中：q为采样个数。Actor估计网络的反向传播误差为
Critic估计网络和Actor估计网络的更新公式为
式中： 和 分别为Critic估计网络和Actor估计网络的参数；αa 和αc 分别为Critic估计网络和Actor估计网络的更新步长。
目标网络与估计网络具有不同的更新频率，可减弱网络间耦合性，目标网络以软更新方式更新权重与偏置，即每次只以较小幅度更新网络参数，Critic目标网络和Actor目标网络更新公式为
式中： 和 分别为Critic目标网络和Actor目标网络的参数；τ为软更新系数。
（1）状态参数选取：状态是动作选择的基础，是智能控制体观察环境得到的特征表达。选取目标水位、实际水位与目标水位差值、蒸汽流量与给水流量作为状态参数。同时，对以上状态量进行归一化处理，有利于网络参数的更新，即将目标水位、蒸汽流量与给水流量的物理值范围映射到0~1，将实际水位与目标水位差值的物理值范围映射到-1~1。
（2）动作参数设计：控制器输出动作a为给水阀门开度。考虑与状态参数的匹配关系，不同目标水位和蒸汽流量对应不同的给水阀门开度，动作设计不合理会导致Critic估计网络无法正确拟合，甚至不能拟合状态—动作关系，进一步影响Actor估计网络收敛效果，因此设计阀门开度范围为0~1。
（3）奖励函数设计：根据跟踪水位差值设计奖励函数，遵循差值的绝对值越小奖励越大原则。函数表示为：reward= -10×error+10，其中error为实际水位与目标水位差值的绝对值；reward为奖励值。
（4）isdone条件（当前轮训练结束条件）设计：判断实际水位与目标水位差值是否超限，上限为3 m，下限为-3 m。加入isdone条件有助于保留训练过程中的有效交互经验，偏离目标水位值过大的状态与动作都不利于网络快速收敛。当isdone条件触发时，isdone标志位置为1，并结束本次仿真；当isdone为0时，仿真可继续运行，直至到达单轮最长仿真时间。
（5）网络设计：主要包括Actor网络和Critic网络设计（目标网络、估计网络结构均一致）。
DDPG控制器更新阶段：将4维状态向量输入至控制器，控制器按设计策略输出阀门开度动作，根据前后状态、反馈的即时奖励与isdone条件来更新Actor网络与Critic网络。DDPG控制器运行阶段：根据（１）的４维状态作为输入，选取可靠动作作为输出策略，选择并执行该动作，即阀门开度指令。
2.2 MPC预测控制设计
由于蒸汽发生器系统遭受未知通信故障后，DDPG控制器不能接收到蒸汽发生器状态信息，因此，本文采用Matlab中的MPC工具箱来实现蒸汽发生器参考模型控制器的设计。该工具箱的核心算法是非线性模型预测控制，将非线性系统线性化后，分为多个局部线性模型，并在每个采样时间上选择一个最优的局部模型来控制。具体遵循预测模型、滚动优化和反馈校正的基本原理。
（1）预测模型：预测模型是预测控制的基础，它可以利用控制系统中被控平台提供的当前系统状态信息和未来的控制输入变量，预测被控系统的未来状态。不同的预测模型包括状态空间方程、传递函数、阶跃响应模型和脉冲响应模型等，根据被控对象和预测状态选择合适的预测模型。
（2）滚动优化：预测控制中的优化不同于离散最优控制算法，它采用滚动式的有限时域优化策略。在每个采样时刻，根据该时刻的优化性能指标，求解从该时刻起有限时段的最优控制律，得到当前控制作用序列。在下一个采样时刻，重新求取最优控制律，优化过程反复在线进行。通过滚动优化策略，始终建立新的优化目标，兼顾了对未来有限时域内的理想优化和实际不确定性影响。
（3）反馈校正：预测控制采用预测模型进行输出值预估，但实际过程中存在非线性、模型失配和干扰等不确定因素，基于模型的预测不可能完全准确地与实际相符。因此，在预测控制中，通过输出测量值与模型预估值比较得出模型预测误差，再利用模型预测误差来校正预测值。这种由模型加反馈校正的过程，使预测控制具有强抗干扰能力，不断地根据系统实际输出对预测输出做出修正。
本文设计的蒸汽发生器预测控制结构如图4 所示，MPC控制器输出与参考模型控制输入相接。该工具箱包括3个接口：当前可测的输出信号（measured output，MO）接口、参考信号接口和最优操纵变量（optimal manipulated variables，OMV）。阀门特性限制范围0~1，设置目标水位（参考信号）12 m，采样时间为0.1 s，预测步长为10，控制步长为2，输出变量权重设置为0.2，输入权重设置为0.1。
具体步骤如下：
（1）建立系统模型：通过构造蒸汽发生器参考模型为MPC控制器提供水位信息，所辨识的参考模型如式（7） 所示
式中：Y（s）和U（s）分别为蒸汽发生器系统输出量和输入量的拉普拉斯变换；
（2）预测模型：利用系统模型进行预测，将系统模型进行线性化，得到离散化的线性模型，并在时间轴上预测未来一段时间内的状态和输出；
（3）确定控制目标：根据系统要求和性能指标，给定控制目标和约束条件；
（4）优化控制输入：通过优化算法，计算出使系统最优化的控制输入序列，并只使用序列中的第一个输入；
（5）执行控制：将优化出的控制输入送入系统中，执行控制并更新状态，回到步骤（2）。
2.3 切换策略设计
蒸汽发生器内部存在着复杂的热力过程，运行工况多变，同时还存在控制系统因负荷工况变化、恶劣环境及噪声干扰等因素导致控制器参数漂移的现象。因此，为提高蒸汽发生器系统安全性，考虑系统遭受未知通信故障，设计MPC/DDPG切换控制器。切换策略为：在蒸汽发生器控制系统没有发生通信故障时，数据驱动DDPG控制器正常运行；在发生通信故障时，系统切换到MPC控制器来补偿丢失的数据。
3 仿真验证及分析
首先，进行蒸汽发生器DDPG控制，蒸汽发生器的初始运行状态设定，分别给定一次侧压力155 MPa、一次侧进口温度320 ℃、给水温度226.67 ℃、换热系数2 582.9 W/（m2·℃）等。设计目标水位为12 m，仅使用DDPG控制器进行核动力蒸汽发生器水位跟踪控制方法的仿真验证。控制器通过输入设定的蒸汽发生器状态参数，输出蒸汽发生器给水阀门开度。
蒸汽发生器在蒸汽流量干扰下的仿真验证如图5 所示，可以看到蒸汽发生器水位在短时间内达到了稳定状态，跟踪误差为0.001 m，并且超调较小，水位跟踪性能较好。为了验证强化学习DDPG控制器的抗干扰能力，在仿真时间为100 s时添加扰动，使得蒸汽流量在原先基础上增长180 kg/s，由图5 a可知该扰动仅对蒸汽发生器水位控制系统造成了较小的波动，并迅速调整至稳态。
为进一步验证强化学习DDPG蒸汽发生器水位控制系统在不同功率需求下的水位跟踪性能，进行相应的仿真实验。系统的水位在100 s时下降了0.5 m，跟踪响应曲线如图5 b所示。可以看出，该控制系统具有较小的超调和调节时间，并且稳定跟踪期望信号，表现出了良好的跟踪性能。
针对未知通信故障设计了蒸汽发生器水位模型预测/数据驱动切换控制。由于遭受未知通信故障后，控制器不会接收到蒸汽发生器状态信息，因此通过设计蒸汽发生器参考模型为MPC控制器提供水位信息。当DDPG控制器发生通信故障后，切换到MPC控制器进行蒸汽发生器水位预测补偿控制，通信故障可用随机DoS攻击来代替实现，通信故障区间如图6 所示。图7 为蒸汽发生器控制系统在DoS攻击下的有/无切换水位控制对比曲线。从图7 可以看出，在遭受DoS攻击后，仅使用DDPG控制器无法快速补偿控制，水位波动剧烈，而加入了MPC预测补偿器后，能快速调节水位至稳态且波动较少，能较好地应对非预知故障情况，保证蒸汽发生器安全稳定运行。
4 结论
本文对未知通信故障下蒸汽发生器水位控制进行研究。通过设计DDPG控制器，完成了蒸汽发生器系统的状态参数选取、基于控制性能的奖励函数设计、Actor-Critic网络收敛条件设计等内容。并在此基础上，通过蒸汽发生器参考模型为MPC控制器提供水位信息，设计了MPC预测补偿控制器，当蒸汽发生器控制系统没有发生通信故障时，DDPG控制器正常运行；当发生通信故障时，切换到MPC控制器进行补偿控制。仿真结果表明：模型预测/数据驱动蒸汽发生器水位切换控制器对于蒸汽发生器这类具有强非线性，未知扰动和变工况等问题的复杂系统，可实现良好的控制效果，在多种功率环境下均能获得良好的控制性能，并且针对未知通信故障表现出了较好的稳定性和安全性。