企业官网建设流程全解析

Multi‑Agent‑MoE：基于混合专家的可扩展多智能体协同框架

原文网页：https://arxiv.org/html/2610.31436v1
PDF链接：https://arxiv.org/pdf/2610.31436v1
arXiv编号：arXiv:2610.31436v1 [cs.AI]

摘要
多智能体系统依靠多个具备不同能力的子智能体分工协作来处理复杂任务。现有多智能体方案大多为固定拓扑编排：预定义角色、固定通信链路，当任务复杂度动态变化时，容易出现角色冗余、能力不匹配、通信开销爆炸等问题。为解决该痛点，本文提出Multi‑Agent‑MoE，借鉴混合专家（MoE）思想的可扩展多智能体协同框架。框架将每个专用子智能体视作一个专家，引入动态门控路由器；根据子任务特征，动态激活、调度少量相关专家智能体，自动生成临时协作拓扑，不需要人工预定义角色与通信图。
Multi‑Agent‑MoE包含三大核心组件：任务解析‑门控路由器、专家智能体池、动态消息交互总线。门控路由器对任务做子任务拆分，依据子任务特征做专家路由；仅激活相关性最高的K个专家参与本轮协作；动态消息总线按需建立通信连接，避免全连接通信带来的开销。构建MoE‑MultiAgent‑Bench评测基准，涵盖科学推理、代码开发、多模态文档综合分析三类任务。实验结果表明：Multi‑Agent‑MoE对比固定拓扑多智能体基线，任务成功率提升5.2‑9.7个百分点，通信消息总量降低42.6%‑61.3%；在专家池规模扩大的场景下性能平稳，不会出现性能退化。消融实验验证门控路由、动态消息总线、专家池调度策略各自的贡献。全部代码、评测数据集、复现脚本开源。

关键词
多智能体系统；混合专家MoE；动态路由；智能体协同；任务拆分；动态拓扑；多智能体通信开销

目录

1. 引言
2. 相关工作
3. Multi‑Agent‑MoE框架设计](#3‑multi‑agent‑moe框架设计)
   • 3.1 问题形式化
   • 3.2 三大核心组件
     • 3.2.1 任务解析‑门控路由器
     • 3.2.2 专家智能体池
     • 3.2.3 动态消息交互总线
   • 3.3 完整执行流程
4. 实验设置
5. 实验结果
   • 5.1 主实验：任务成功率与通信开销
   • 5.2 专家池规模扩展性实验
   • 5.3 消融实验
6. 讨论与局限性
7. 结论
8. 附录简要说明

1 引言

多智能体系统通过多个具备差异化能力的子智能体分工合作处理复杂任务，例如代码开发、科学问题求解、多模态文档综合分析。主流多智能体实现（AutoGen、MetaGPT等）大多采用固定拓扑编排：预先人工定义智能体角色、职责，预先设定好智能体之间通信链路。
固定拓扑方案存在明显短板：

1. 角色‑任务不匹配：任务动态变化，固定角色集合会出现部分角色完全用不上，或者缺少需要的专业角色；
2. 通信开销爆炸：常常使用全连接广播通信，所有智能体互相收发消息，专家数量增加之后消息数量呈平方级增长；
3. 扩展性差：扩充专家智能体池之后，需要人工重新调整角色、调整通信逻辑，否则性能不会提升甚至退化。

借鉴大模型混合专家MoE的思想：不激活全部专家，依靠门控网络根据输入动态选择部分专家参与计算。本文将该范式迁移到多智能体协同场景，提出Multi‑Agent‑MoE框架。

• 将每一个功能专用子智能体视为一名专家；
• 任务解析‑门控路由器完成子任务拆解，动态选择K个相关性最高的专家智能体参与当前任务，自动生成临时协作拓扑；
• 动态消息交互总线，仅在被激活的专家之间按需建立通信，规避全连接广播带来的高额消息开销；
• 不需要人工预先定义角色、不需要硬编码通信图，支持专家池灵活增删。

本文主要贡献

1. 提出Multi‑Agent‑MoE，借鉴混合专家思想的可扩展多智能体协同框架，实现专家智能体动态路由、按需激活、动态生成协作拓扑。
2. 设计任务解析‑门控路由器、专家智能体池、动态消息交互总线三大组件，按需建立通信，大幅降低多智能体通信消息量。
3. 构建MoE‑MultiAgent‑Bench评测基准，覆盖科学推理、代码开发、多模态文档综合分析；实验表明对比固定拓扑多智能体基线，任务成功率提升5.2‑9.7个百分点，通信消息总量下降42.6%‑61.3%；在专家池规模扩大时保持性能稳定。
4. 消融验证各模块贡献；框架代码、评测数据集、复现脚本全部开源。

2 相关工作

2.1 多智能体协同框架

MetaGPT、AutoGen、ChatDev为代表，使用人工预定义角色、固定通信拓扑；适合特定场景，但是动态任务适配能力弱，扩展专家集合需要大量人工修改配置。部分研究实现动态角色生成，但缺少面向专家选择的门控路由，没有专门优化通信开销。

2.2 混合专家MoE范式

MoE‑LLM在Transformer层内部动态激活部分专家FFN单元；本文将MoE核心思想迁移到多智能体系统层面，专家不再是神经网络子模块，而是完整可独立调用的子智能体；路由对象是子任务，输出是激活的专家智能体集合。

2.3 多智能体通信优化

现有方案多聚焦消息过滤、摘要压缩；Multi‑Agent‑MoE从源头减少参与协作的智能体数量，动态构建通信子图，从生成侧降低消息总量。

3 Multi‑Agent‑MoE框架设计

3.1 问题形式化

给定总任务T TT，专家智能体池E = { E 1 , E 2 , . . . , E N } \mathcal{E}=\{E_1,E_2,...,E_N\}E={E1​,