豆包提出全新稀疏架构 推理成本较MoE最高可降83%

据悉，字节跳动豆包大模型团队近日提出了一种名为UltraMem的全新稀疏模型架构。

这项技术有效解决了MoE推理时高额的访存问题，同时将推理速度相比于MoE架构提升2-6倍。

更重要的是，该架构能够将推理成本最高降低83%。

此外，研究还揭示了新架构的Scaling Law，并证明其在性能上超越了MoE。