很多人其实已经在不知不觉中接触到了多智能体协作带来的变化配资炒股平台排行。
电商大促时，仓库里往往不是一台机器人在工作，而是一整组机器人同时分拣、运输、避让和交接。自动驾驶真正困难的地方，也不只是让一辆车学会开，而是让很多辆车在同一条路上彼此配合。现实中的很多复杂任务，本质上都不是单个智能体可以独立完成的，智能系统也是一样。
但现实世界并不会给这些系统太多试错机会。仓库机器人撞一次货架，工业机械臂装错一次零件，代价都是真实的。也正因为如此，越来越多研究开始转向离线强化学习，也就是先利用已有数据训练策略，而不是依赖实时试错。
可一旦从单智能体走向多智能体，难度会迅速上升，因为系统不仅要学会做决策，还要在反馈有限的条件下学会协作。
这正是当前行业里的一个现实瓶颈。很多方法在实验环境里效果不错，但到了离线多智能体场景中，往往很快暴露出问题。
一方面，真实任务里的奖励通常非常稀疏，模型很难知道自己到底哪一步做对了。另一方面，多智能体协作还会带来责任分配问题，也就是最后成功了，却很难判断到底是哪一个智能体起了关键作用。结果就是，系统明明有大量历史数据，却依然学不会稳定协作，更谈不上面对新任务时的泛化能力。
在这样的背景下，来自中山大学的郭裕兰团队提出了 MangoBench，并在研究《MangoBench A Benchmark for Multi-Agent Goal-Conditioned Offline Reinforcement Learning》中，尝试重新回答一个关键问题，也就是当多个智能体不能随便试错时，怎样才能真正学会协作。
研究团队没有继续依赖传统奖励驱动，而是把问题改写成目标驱动，让模型围绕应该到达什么状态去学习，从而为离线多智能体强化学习提供了一条更清晰的研究路径。
论文地址：https://wendyeewang.github.io/MangoBench/
性能分化的关键拐点
在难度适中的导航任务里，不同方法的表现差距已经很明显了。中山大学团队提出的 IHIQL 的成功率能达到 80% 到 95%，说明它大多数时候都能把任务完成好。相比之下，ICRL 只有 40% 到 60%，GCMBC 只有 20% 到 40%，而 GCOMIGA 和 GCOMAR 基本接近 0%，几乎等于没学会。
换句话说，同样是面对离线数据，有的方法已经能比较稳定地找到路，有的方法却连基本方向都抓不住。这说明在奖励很少、反馈很弱的情况下，传统的离线多智能体方法其实很容易失灵，而分层强化学习方法更容易学出效果。
当任务再变难一点，这种差距会被进一步放大。所有方法的表现都会下降，但下降的程度并不一样。IHIQL 虽然也会掉到 30% 到 40%，但至少还保留了一部分完成任务的能力。
ICRL 和 GCMBC 会掉到 10% 到 20% 左右，其他方法则几乎完全不行了。可以把它理解成，一开始大家都在考试，题目简单的时候还能看出谁强谁弱，题目一难，很多方法就直接交白卷了，只有少数方法还能继续答题。IHIQL 的优势，正体现在它遇到更复杂的环境时没有一下子垮掉。
研究人员还专门看了另一件事，也就是把一个任务交给多个智能体时，具体怎么分工会不会影响结果。比如有的设置是每个智能体负责 4 个部分，有的是每个智能体只负责 2 个部分。
结果发现，不管是 2 × 4 还是 4 × 2，IHIQL 在中等难度任务里都能稳定在约 90% 左右。这个结果可以理解成，它不是只会适应某一种固定分工，而是更像抓住了任务本身该怎么完成，所以换一种分工方式，它照样能做得不错。
到了机械臂任务，这种差别就更容易看出来了。在同步协作的抬栏杆任务里，IHIQL 的成功率在 80% 以上，GCMBC 大约 60%，ICRL 大约 50%，模仿学习方法大约 40%。如果把这些方法想成几组不同水平的工人，那么 IHIQL 这一组不但完成任务的概率更高，而且训练时间只有模仿学习方法的约 5%。
这说明它不只是做得更好，而且学得更快，效率也更高。通俗一点说，就是它不但更会做事，而且更快进入状态。
到了更复杂的异步协作任务，情况就不一样了，原本领先的方法不一定还能继续领先。以放置食物这个任务为例，这类任务不是大家一起同时发力，而是要一个智能体先完成前面的动作，另一个再接着往下做，所以更考验先后配合。
在这种情况下，ICRL 的表现最好，成功率大约在 30% 到 40% 之间，明显高于 IHIQL 和 GCMBC，模仿学习方法甚至不到 10%。这说明当任务强调步骤之间的衔接时，对比学习方法更容易学到这种顺序关系。更重要的是，它不仅做得更好，训练时间还比模仿学习少了约 93%，也就是说，它不只是更会学，而且学得还更快。
多目标和单目标的对比，则说明了另一件很容易被忽视的事，那就是测试方式本身也会影响我们对模型的判断。如果只用一个目标去测试，同一个任务里，IHIQL 是 78%，GCMBC 是 22%，ICRL 是 37%。但换成多目标评估后，它们分别提升到 82%、47% 和 56%。
这意味着很多方法其实并没有我们原来想的那么差，只是单目标测试把它们的能力看窄了。换句话说，这些方法学到的并不只是某一个固定动作，而是面对不同目标时，仍然能够做出调整的能力，也就是更接近真正的泛化。
在训练方式的对比里，研究人员发现，并不是拿到更多全局信息，效果就一定更好。分布式方法 IHIQL 在中等任务里成功率大约是 95%，任务规模变大后还有大约 85%，到了超大规模任务也还能保持在 50% 左右。
相比之下，集中训练方法 HIQL-CTDE 在中等任务里还有大约 70%，但任务一变复杂，很快就掉到 44%，再往上甚至只剩下 1%，几乎等于学不动了。
这个结果可以理解成，分布式方法更像是把问题拆开来，各个智能体先管好自己那一部分，所以任务变难时还能稳住。集中训练方法看起来掌握的信息更多，但也正因为要同时处理太多全局信息，任务一复杂就容易顾不过来，最后训练变得越来越不稳定。
也就是说，在多智能体任务里，信息更多不一定更占优势，关键还是系统能不能把复杂问题处理得足够清楚。
把所有实验结果放在一起看，其实能得出几个很清楚的判断。首先，很多方法之所以一到复杂任务就失效，最根本的原因不是模型太弱，而是奖励信号太少。
因为在稀疏奖励条件下，系统大部分时候都得不到明确反馈，很难知道自己到底哪一步做对了，所以训练很容易陷入混乱。一旦把奖励变得更密集，性能就会明显恢复，这说明问题的关键不在模型本身，而在学习信号不够。
其次，目前表现最稳的还是分层方法。以 IHIQL 为代表的方法之所以更有效，是因为它不是让模型一次性去解决整个复杂任务，而是把大任务拆成多个更小的步骤来学。
炒股杠杆平台这样做的好处是，模型更容易在中间过程里得到反馈，也更不容易在任务变复杂时一下子崩掉。所以从实验结果来看，分层策略更像是一种让系统先学会一步一步完成任务的方法，而不是一上来就要求它掌握全部。
最后，这项研究还说明了多智能体系统最难的地方，其实不只是学会做动作，而是学会彼此配合。在简单任务里，多智能体有时还能比单智能体做得更好，因为大家分工之后效率更高。
但一旦任务变复杂，需要更精细的协作和衔接时，问题就会立刻暴露出来。也就是说，真正卡住多智能体系统的，不只是学习能力，而是协同能力，这也是为什么协作会成为整个系统进一步提升表现的最大瓶颈。
从奖励驱动到目标驱动
在实验设计上，研究团队先做了一件很关键的事，就是把原本的离线数据重新整理了一遍。原始数据里只有状态和动作，记录的是系统当时看到了什么、做了什么。
研究人员在这个基础上又加进了目标和奖励，也就是把原来的数据改造成了状态、动作、目标、奖励这样的形式。具体来说，他们会从已有轨迹里随机挑出一个状态当作目标，再去判断当前行为有没有朝这个目标靠近，然后自动生成对应的奖励。
这样一来，同一批历史数据就不再只能拿来学一个任务，而是可以围绕不同目标反复使用，相当于把原有数据的价值放大了。
这样做的意义在于，它把原来的学习方式换了一种思路。传统强化学习更像是让模型一边做一边等反馈，问题是这种反馈往往很少，很多时候模型根本不知道自己到底做得对不对。
加入目标之后，情况就不一样了。模型不再只是被动等奖励，而是会一直围绕一个明确目标去行动，判断自己是不是在一步步接近它。换句话说，原本那种模糊又稀少的反馈，被变成了更直接、更容易理解的学习信号，所以模型更容易学出有效策略。
为了让结果更可靠，研究团队在实验设置上也做得比较严谨。运动任务一共训练了 100 万步，测试时还会换 5 个不同目标，并用 5 个随机种子反复验证，也就是不只看一次结果，而是看它在不同条件下是不是都能稳定表现。
操作任务也一样，训练步数分别是 1.5 万和 3.88 万，测试时还用了 100 个随机种子。这样做的目的很明确，就是尽量避免某一次训练碰巧表现好，确保最后看到的结果是稳定的，而不是偶然的。
在任务安排上，研究人员也不是随便选几个场景，而是故意把难度一点点往上加。运动任务从较简单的迷宫开始，逐渐增加到更复杂的迷宫，最后再加入随机传送这样的高难度设置。
操作任务则从需要同时配合的同步任务，发展到需要讲究先后顺序的异步任务。这样设计，其实是想更系统地观察模型在不同复杂度下的表现，不只是看它能不能完成任务，更想看它在任务越来越难时，是否还具备泛化能力、长期规划能力和协作能力。雷峰网
换句话说，研究团队想测试的不是模型会不会做一道题，而是题目一旦变难，它还能不能继续做下去。
研究人员还专门分析了，为什么 CTDE 这种看上去信息更多的方法，最后反而表现不好。按直觉来说，既然它在训练时能看到更多全局信息，效果似乎应该更好，但问题恰恰也出在这里。
因为它看到的东西太多了，全局状态本质上就是把所有智能体的状态都拼在一起，这会让问题一下子变得非常大、非常复杂，模型需要同时处理的内容也会迅速增加。
除此之外，CTDE 在训练时和执行时其实并不是完全一致的。训练阶段，模型会利用全局信息来学习；但真正做决策时，每个智能体又只能根据自己的局部信息行动。这样一来，就会出现一种情况：训练时学到的东西，到了实际执行时不一定能顺利用上，这会让优化过程变得更困难。
还有一个更隐蔽的问题在于目标本身。CTDE 一方面要处理整体任务的全局目标，另一方面又要让每个智能体根据自己的局部目标去行动。这样就容易出现两套目标之间对不上的情况，也就是模型的一部分在学整体方向，另一部分却在学局部细节，最后很难配合到一起。
所以，CTDE 的问题并不是信息不够，而是信息太多、结构太复杂，最后让训练变得不稳定。表面上看，它像是在帮模型看到更完整的全局；但实际上，正是这种额外的复杂性，让它在任务一变难时更容易失效。
从方法到问题本质
从实验意义来看，研究团队最重要的贡献，不只是提出了一套新方法，而是更清楚地揭示了 Offline MARL 为什么一直很难真正做好。
研究结果说明，问题的核心并不只是模型能力强不强，而是在训练过程中存在两个更根本的障碍。第一个障碍是学习信号太弱，因为 reward 很稀疏，模型在大多数时候得不到明确反馈，Q- function 很难稳定收敛，所以很多方法即使训练很久，效果仍然很差。
第二个障碍是责任分配问题，也就是在多智能体协作中，很难判断到底是哪一个 agent 对最后的成功起了关键作用。一旦这个贡献关系分不清，梯度更新就容易出错，最后就会出现协作失败。研究的价值就在于，它把多智能体离线强化学习最深层的困难点明确指出来了。
研究团队还说明了 goal-conditioned 真正有效的原因。它的作用并不只是给模型多加一个目标输入，而是改变了整个学习方式。原来模型主要依赖 reward 来判断行为好坏，这种信号很少，也不稳定。
加入目标之后，每个 state 都能和某个 goal 联系起来，学习信号就明显变多了，模型也更容易知道自己应该往什么方向调整。
这样一来，强化学习就不再只是盲目地追逐奖励，而更像是在学习如何从当前位置到达目标位置。这种形式比单纯依赖 reward 更稳定，也更容易训练。
更重要的是，同一个模型可以面对不同目标完成不同任务，这说明模型学到的不是死记硬背的固定动作，而是具有一定泛化能力的行为策略。
研究人员进一步说明了为什么分层方法会更有效。原因在于，分层方法同时解决了两个难题。一方面，它通过设置中间目标缓解了稀疏奖励问题，让模型在任务还没有最终完成之前，就已经能得到阶段性的反馈。
另一方面，它把原本很长、很复杂的任务拆成多个更短、更容易处理的小任务，从而减轻了长时间依赖带来的学习难度。换句话说，分层方法之所以有效，本质上是因为它把一个很难直接学会的大问题，拆成了多个更容易逐步解决的小问题。雷峰网
这一点对于多智能体任务尤其重要，因为多智能体系统本来就比单智能体更难协调，如果没有这种结构化拆分，训练会更加不稳定。
这项研究对普通人的影响也很实际。现实生活中很多场景并不允许系统反复试错，比如自动驾驶、仓储物流、工厂机械臂、医院辅助机器人等。这些系统一旦出错，代价往往很高，所以很多时候只能依赖已经收集好的历史数据进行训练，也就是离线学习。
研究团队所做的工作，本质上是在探索怎样让多个智能体在不能随便试错的情况下，依然学会稳定协作。这个方向如果继续发展，未来普通人可能会直接受益于更安全的自动驾驶系统、更高效的物流配送机器人、更稳定的工业自动化设备，以及更可靠的医疗和家庭辅助机器人。
元股证券:ygzq.hk
MangoBench 背后的科研工作者
汪怡，中山大学在读一年级博士生，主要研究方向为三维视觉和强化学习，师从郭裕兰教授，于深圳河套学院实习，完成此论文时期在中山大学读本科。在 CVPR 等 CCF A 类会议发表多篇论文，参与中国图学学会"奋发图强"博士生 workshop，参与 China3DV 墙报展示，曾获中山大学研究生校长奖学金等。
钟柠泽，完成此论文时期在中山大学读本科，与郭裕兰教授合作，主要研究方向为机器人，三维视觉和强化学习。在 CVPR/ICLR/ACM MM 等 CCF A 类会议等发表论文，CVPR/NeurIPS/ECCV 审稿人，论文在 China3DV/ChinaGraph 大会等展示，现在美国宾夕法尼亚大学 GRASP Lab 读研究生，与 Vijay Kumar 院长合作。
符智恒，西澳大学博士，香港理工大学博士后，主要研究方向为三维重建与生成。发表论文共 20 余篇（包括 CVPR、ICCV、TIP、ECCV、IJCAI 等），英文著作一部 Point Cloud Intelligence 。
王龙光，中山大学博士后，主要研究方向为底层视觉和三维视觉。以第一作者身份发表 CCF A 类论文共 11 篇，谷歌学术总引用数为 7100 余次。入选中国科协青年人才托举工程，连续三年入选全球前 2% 顶尖科学家榜单；主持国家及省部级项目 9 项。
张晔，中山大学副研究员，主要研究方向为空间智能与三维视觉。发表学术论文 30 余篇，主持国家级和省部级项目 3 项，曾担任首届中国空间智能大会本地主席。
郭裕兰，中山大学教授配资炒股平台排行，主要研究空间智能与三维视觉。主持国家自然科学基金联合重点项目等 10 余项，发表学术论文 200 余篇，谷歌学术引用 2 万余次，入选 Clarivate 全球高被引科学家。担任中国图象图形学学会三维视觉专委会副主任，IEEE TIP 高级领域编辑（SAE）。曾担任首届中国空间智能大会主席，历届中国三维视觉大会组委会主席。
热门股票配资开户提示：本文来自互联网，不代表本网站观点。
