品牌  【直播】  50强   整机  ​【联盟】  机构  【视界】  展会  招聘  云服务          微博   公众号AIrobot518 
【​今日焦点
【行业动态】
NEWS / 新闻中心
降低62% DeepSeek MoE专家激活,越疆论文入选国际顶会EMNLP
来源:越疆 | 作者:越疆 | 发布时间: 今天 | 528 次浏览 | 🔊 点击朗读正文 ❚❚ | 分享到:

实验中:专家激活数量减少 62%,但是实际 latency减少的只有约4.9%。

论文测试中 aggressive MetaNet:

542.94ms → 516.52ms

仅降低约4.9%。

为什么?

因为 LLM 推理还有:

Attention

Token dispatch

Permutation

GPU communication

Synchronization

Expert computation

减少专家,只减少其中一部分。

当前大模型的能力提升,很大程度上依赖参数规模的持续扩张。但参数量并非越多越好,在合适的位置增加参数,在冗余的位置减少参数,才是更高效的利用方式。MoE架构的稀疏激活特性,为这一思想提供了天然的技术载体。

MetaNet正是沿着这一思路的探索:在MoE模型中引入任务条件的逐层自适应调度,让专家资源根据实际需求动态流动。实验证明,这种“适得其所”的分配策略,能够在保持性能的前提下显著降低计算开销。

这一研究的价值不仅在于技术指标本身,更在于它所代表的解决思路,面对参数规模的指数级增长,我们不必总是“做加法”。在正确的位置做减法,同样是推动AI系统走向高效、经济、可持续的重要路径。



免责声明:所载内容及图片来源于互联网、微信公众号、企业投稿等公开渠道,本文转载仅供参考、交流。转载的稿件版权归原作者和机构所有,如有侵权,请联系我们及时删除。

​​​​2026“全国移动机器人行业活动”合作商招募中

​报名热线:400-0756-518​​​​、13512726426  微信

活动时间:2025-08-01至08-31

  • 合力宇锋|聚焦冷链行业场景应用、助力产业数智化跃升!
  • 降低62% DeepSeek MoE专家激活,越疆论文入选国际顶会EMNLP
  • 眸视方案|燃气行业巡检机器人解决方案
  • 【顺力智慧物流大讲堂】产线拥堵、轨道利用率低?顺力智能提出RGV一轨双车技术,让运力提升2倍
  • 直击广州中博展|焕智科技携硬核物流装备亮相,展台热闹开聊!
  • 载誉鹭岛 · 出海正当时丨翼菲科技荣获「2026年度出海创新金牛奖」
  • 优艾智合×巨骐信息 | 战略签约共拓智能巡检规模化新局
  • 20余家主流媒体齐聚中惠创智阜阳基地——实地探访无线供电技术产业化成果