工业信息物理系统(Cyber-Physical Systems, CPS)是感知、通信、计算、控制(简称 S3C)深度耦合的复杂系统，广泛支撑智能制造、工业机器人集群、边缘智能等核心场景。当前该类系统普遍存在高维状态空间、非凸优化目标、局部观测受限等痛点：传统独立优化策略难以实现四域全局协同；常规多智能体强化学习(MADRL)缺乏先验知识引导，探索效率低下，极易收敛至局部最优，难以满足工业场景低时延、高精度控制需求。
针对上述瓶颈，中国科学院沈阳自动化研究所工业控制网络与系统研究室科研团队，提出大语言模型(LLM)增强的多智能体迁移强化学习算法框架 LLMPT-MADRL，充分挖掘大模型语义推理、先验知识输出能力，提升多维度协同优化性能。相关成果近期发表于IEEE/CAA Journal of Automatica Sinica。
科研团队将“感-通-算-控”联合优化问题建模为部分可观察马尔可夫决策过程，设计了包含LLM模块、MADRL模块和策略选择模块的算法架构。其中，LLM模块通过提示词输出优质指导策略；MADRL模块采用Actor-Critic结构完成策略优化；策略选择模块依靠概率机制动态融合两类输出，实现训练阶段策略平滑切换。同时，他们还设计了自适应迁移损失函数，以解决LLM与强化学习网络规模异构问题，保障知识有效迁移。科研团队以降低系统时延与控制误差为目标，对采样系数、通信带宽、计算频率、控制输入等“感-通-算-控”开展联合优化仿真，选取MADDPG、MATD3、MAPPO作为对比基线，采用集中训练、分布式执行模式完成验证。
研究结果表明，LLMPT-MADR各项指标均优于传统多智能体算法，相比基线方法综合奖励提升16.8%，系统时延降低24.5%，控制误差减少10.4%。证明了大模型可加速策略学习，抑制策略波动，显著提升系统稳定性与控制效果。
相关成果以LLM-Enhanced Multi-Agent Transfer Reinforcement Learning for Sensing, Communication, Computing, and Control Co-Optimization in Cyber-Physical Systems为题发表，硕士生张俊远为论文第一作者，许驰研究员为通讯作者。该研究得到了国家自然科学基金项目、辽宁省科技计划项目和辽宁省“兴辽英才”计划项目的支持。
