通义千问开源千亿级参数模型 性能媲美Llama3

4月28日消息，通义千问开源1100亿参数模型Qwen1.5-110B，成为全系列首个千亿级参数开源模型，并在多项基准测评中都创下可与Llama3-70B媲美的成绩。目前Qwen1.5系列已累计开源10款大模型，通义千问开源模型下载量超过700万。

通义千问1100亿参数模型延续了Qwen1.5系列的Transformer解码器架构，采用了分组查询注意力方法（GQA），使得模型在推理时更加高效。110B模型支持32K上下文长度，具备优秀的多语言能力，支持中、英、法、德、西、俄、日、韩、越、阿拉伯等多种语言。

Qwen1.5-110B在MMLU、TheoremQA、GPQA等多个基准测评中展现出卓越性能，基础能力可与Meta刚刚发布的Llama-3-70B模型相媲美，相比通义千问720亿参数开源模型也有明显提升。研发团队指出，Qwen1.5-110B的预训练方法与同系列其他模型并无明显差异，性能提升主要来自于参数规模的扩增。

研发团队还在MT-Bench和AlpacaEval 2.0两个测评集上对1100亿参数模型的Chat版本作了评估，通义千问110B比通义千问72B的效果有显著提升。