群视角下的多智能体强化学习方法综述

Abstract

多智能体系统是分布式人工智能领域的前沿研究概念，传统的多智能体强化学习方法主要聚焦群体行为涌现、多智能体合作与协调、智能体间交流与通信、对手建模与预测等主题，但依然面临环境部分可观、对手策略非平稳、决策空间维度高、信用分配难理解等难题，如何设计满足智能体数量规模比较大、适应多类不同应用场景的多智能体强化学习方法是该领域的前沿课题。首先简述了多智能体强化学习的相关研究进展；其次着重从规模可扩展与种群自适应两个视角对多种类、多范式的多智能体学习方法进行了综合概述归纳，系统梳理了集合置换不变性、注意力机制、图与网络理论、平均场理论共四大类规模可扩展学习方法，迁移学习、课程学习、元学习、元博弈共四大类种群自适应强化学习方法，给出典型应用场景；最后从基准平台开发、双层优化架构、对抗策略学习、人机协同价值对齐和自适应博弈决策环共5个方面进行了前沿研究方向展望，该研究可为多模态环境下多智能强化学习的相关前沿重点问题研究提供参考。

Keywords

• 分布式智能
• 平均场理论
• 图神经网络
• 元学习
• 元博弈