昆仑万维开源2千亿稀疏大模型天工MoE

据悉，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE。该模型是在之前的Skywork-13B模型基础上扩展而来，并首次完整应用了MoE Upcycling技术。这也是第一个支持用单台4090服务器进行推理的开源千亿MoE大模型，具备强劲性能且推理成本更低。