随着模型规模的扩大,如何在保持高性能的同时优化资源消耗成为一个关键挑战。为了应对这一挑战,我们研究了混合专家(MoE)模型,当前亮相的Hunyuan-Large(Hunyuan-MoE-A50B)模型,这是目前业界待开源的基于Transformer的最大MoE模型,拥有3890亿总参数和520亿激活参数。