无线云机器人系统(Wireless Cloud Robotic System，WCRS)以无线网络为媒介，通过将复杂控制功能虚拟化至云或边缘云，深度融合感知、通信、计算与控制能力，可实现大规模机器人云化智能控制，满足具身智能自主作业、多机协同装配等场景需求。然而，WCRS的控制精度和稳定性高度依赖于无线通信的确定性，受无线传输时延、抖动、丢包等问题的严重制约。因控制与通信呈现强耦合特征，单一维度的优化无法提升整体性能。
针对上述问题，中国科学院沈阳自动化研究所工业控制网络与系统研究室科研团队，采用智能超表面(Reconfigurable Intelligence Surface，RIS)技术构建了全新的无线云机器人系统架构。该架构支持对RIS的相移和波束进行按需调节，进而建立确定性通信信道，应对复杂工业无线环境下信道时变衰落、通信不确定等难题。
在该无线云机器人系统架构下，科研人员针对控制与通信强耦合难题，基于Jensen不等式和Lyapunov-Krasovskii泛函理论推导得到了控制时延阈值的闭式表达式，建立了以控制误差和通信抖动为导向的系统稳定性最大化问题。考虑机器人及通信信道状态的时变性与部分可观测性，科研人员将问题建模为部分可观测马尔可夫决策(POMDP)过程，并提出了基于LSTM-PPO-MATRL的多智能体迁移强化学习方法，实现了控制输入补偿、RIS相移和波束成形等控制和通信参数的联合优化，提升了系统稳定性。
团队在OpenAI Gym与MuJoCo平台开展了四种控制任务的验证，包括直立(INV)、跳跃(HOP)等低动态任务以及奔跑(HAL)、行走(ANT)等高动态任务，分别对应二自由度机械臂、单足机器人、双足机器人和四足机器人。实验结果表明：在新的架构下，控制-通信联合优化方法具有算法收敛快、奖励高等优势，可以满足机器人云化控制的要求，优于控制或通信单一维度优化。
该研究成果以Control-Communication Co-Optimization for Wireless Cloud Robotic System via Multi-Agent Transfer Reinforcement Learning为题，发表于自动化领域国际期刊IEEE/CAA Journal of Automatica Sinica。沈阳自动化所许驰研究员为论文第一作者及通讯作者。该研究得到了国家自然科学基金项目、辽宁省科技计划项目的支持。(工业控制网络与系统研究室)
