快科技6月27日消息, 全球知名的开源平台Hugging Face的联合创始人兼首席执行官Clem在社交平台激动宣布, 阿里巴巴最新开源的Qwen2-72B指令微调版本在开源模型排行榜上荣登榜首。
为了打造一个更为公正和准确的开源大模型排名,Clem及其团队利用300块H100高性能硬件,对全球100多个主流开源大模型,包括Qwen2、Llama-3、Mixtral、Phi-3等,在BBH、MUSR、MMLU-PRO、GPQA等严格的基准测试集上进行了全面而深入的评估。
这次重新评估的初衷在于,许多开发者过于追求排行榜的名次,导致在模型训练过程中过度依赖评估集数据,并且过去的评估标准对于模型而言显得过于简单。因此,本次评估提高了难度标准,以检验这些模型在更高挑战下的真实性能。
令人瞩目的是,阿里巴巴开源的Qwen-2 72B模型在激烈竞争中脱颖而出, 不仅超越了科技巨头Meta的Llama-3,还超越了法国知名大模型平台Mistralai的Mixtral,成为了新的行业领军者。这一成绩充分展示了中国在全球开源大模型领域的领导地位。
网友评论