品牌  【直播】  50强   整机  ​【联盟】  机构  【视界】  展会  【招聘】  云服务          微博   公众号AIrobot518 
【​今日焦点】
​【行业动态】
NEWS / 新闻中心
降低62% DeepSeek MoE专家激活,越疆论文入选国际顶会EMNLP
来源:越疆 | 作者:越疆 | 发布时间: 46天前 | 886 次浏览 | 🔊 点击朗读正文 ❚❚ ▶ | 分享到:

实验中:专家激活数量减少 62%,但是实际 latency减少的只有约4.9%。

论文测试中 aggressive MetaNet:

542.94ms → 516.52ms

仅降低约4.9%。

为什么?

因为 LLM 推理还有:

Attention

↓

Token dispatch

↓

Permutation

↓

GPU communication

↓

Synchronization

↓

Expert computation

减少专家,只减少其中一部分。

当前大模型的能力提升,很大程度上依赖参数规模的持续扩张。但参数量并非越多越好,在合适的位置增加参数,在冗余的位置减少参数,才是更高效的利用方式。MoE架构的稀疏激活特性,为这一思想提供了天然的技术载体。

MetaNet正是沿着这一思路的探索:在MoE模型中引入任务条件的逐层自适应调度,让专家资源根据实际需求动态流动。实验证明,这种“适得其所”的分配策略,能够在保持性能的前提下显著降低计算开销。

这一研究的价值不仅在于技术指标本身,更在于它所代表的解决思路,面对参数规模的指数级增长,我们不必总是“做加法”。在正确的位置做减法,同样是推动AI系统走向高效、经济、可持续的重要路径。



免责声明:所载内容及图片来源于互联网、微信公众号、企业投稿等公开渠道,本文转载仅供参考、交流。转载的稿件版权归原作者和机构所有,如有侵权,请联系我们及时删除。

​​​​2026“全国移动机器人行业活动”合作商招募中

​报名热线:400-0756-518​​​​、13512726426  同微信

活动时间:2025-08-01至08-31

  • 累计下线突破20万台,海康机器人发布2026移动机器人新品
  • 智库智能再赴马德里|相约4G28,Logistics & Automation Madrid 2026,11月见!
  • 眸视|厂区新同事①|新来的防爆轮式机器人,有点靠谱
  • 京东物流 x 嬴彻科技 L4级自动驾驶货运项目荣获“2026AIIA人工智能先锋实践奖”
  • 再获国际认可!劢微机器人两款产品荣获欧洲产品设计奖
  • 仙工智能|全程无需人工参与!一杯咖啡背后的具身智能长程任务能力
  • 申昊科技“算电协同”智能运维解决方案
  • 奖项荣誉 | 工博会现场,兰剑智能锂电制造机器人方案获评「智造·影响力」创新成果奖