3月1日，DeepSeek在知乎平台揭晓了“开源周”活动的特别环节，首次详细披露了其模型降本增效的核心技术细节，并揭示了理论上可实现的545%高利润率。

DeepSeek通过创新性的MoE（混合专家）架构，显著降低了模型的激活参数比例，进而大幅减少了达到同等效果所需的大模型算力。据阿里云无影事业部总裁张献涛在接受采访时所述，一个671B规模的模型在处理单个问题时，实际被激活的专家模型参数仅约37B，算力需求降至原来的约二十分之一。

然而，豆包团队观察到，MoE架构的稀疏特性虽具优势，但也带来了计算和通信间复杂且动态的依赖问题，使得分布式训练面临跨设备通信开销巨大的挑战。

针对这一难题，豆包大模型团队于3月10日推出了专为MoE模型设计的通信优化系统COMET。该系统通过共享张量依赖解析机制，将共享张量按Token维度或隐层维度切割，使通信与计算单元对齐，同时运用动态负载分配算法，根据输入规模和硬件环境实时调整线程块分配，有效消除了跨设备通信造成的等待延迟。

豆包大模型的技术人员向媒体透露，COMET与DeepSeek的DualPipe技术（双向并行流水线技术）虽都旨在降低MoE的通信开销，但采用的方法不同。DualPipe通过创新的双向流水线并行策略，显著提升了模型的训练效率。

豆包大模型团队宣称，COMET这一创新在大型MoE模型上实现了单层1.96倍的加速效果，端到端平均效率提升1.71倍。目前，COMET已在实际应用中部署于万卡级生产集群，有效助力MoE模型的高效训练，并累计节省了数百万GPU小时的资源。

一位头部大模型算法工程师指出，在万卡规模下，系统的稳定性成为关键因素。此次豆包大模型团队将COMET开源，为整个行业提供了宝贵的万卡集群实验经验，国内拥有如此规模计算资源的企业屈指可数。此外，豆包大模型还表示，COMET可与团队此前发布的新一代稀疏模型架构UltraMem结合，实现进一步的协同优化。

据悉，豆包大模型团队早前已提出UltraMem架构，该架构有效解决了MoE推理时的高额访存问题，使得推理速度较传统MoE架构提升2至6倍，推理成本最高可降低83%。

随着DeepSeek等企业在全球范围内持续开源核心技术，国内大模型厂商也纷纷加速跟进开源行动，业界竞争日益激烈。

烟台三明网络专注软件开发10年+，具备烟台APP开发、烟台小程序定制、烟台公众号定制、烟台网站建设、烟台商城开发、烟台分销系统开发、烟台康复系统开发，致力烟台互联网+行业的系统定制开发与运营，为企业发展提供助力。