封面新闻记者 欧阳宏宇
6月27日凌晨,ai模型领先平台“抱抱脸”(huggingface)公布全球开源模型排行榜,多款中国造开源模型上榜。其中,阿里的qwen2-72b超越社交巨头meta的llama-3、法国大模型平台mistralai的mixtral等产品,成为开源模型排行榜第一名。李开复ai大模型公司零一万物的yi-1.5也榜上有名。
据介绍,本次模型评估旨在抛开评估集数据的基础上,加大对开源模型的评估标题,以修正评估的效度。为此,此次评估使用了300块h100对目前全球100多个主流开源大模型,在bbh、musr、mmlu-pro、gpqa等基准测试集上进行了全新评估。
评估结果显示,阿里最新开源的qwen2-72b指令微调版本、meta开源的llama-3-70b指令微调版本,以及阿里的qwen2-72b基础版本排名前三。
mistralai的mixtral-8x22b指令微调版本排名第4;微软最新开源的小参数模型phi-3-medium-4k 14b排名第五;零一万物最新开源的yi-1.5-34b-chat版本排在了第六名。此外,大模型平台cohere开源带rag功能的command r 104b,曾经排名第一的英伟达开源的smaug-72b-v0.1,在新的排行榜中位列第8名。
在分析人士看来,中国开源大模型在全球范围处于领导者地位。stability ai研究总监他尼什克表示,中国在开源大模型领域非常有竞争力,除了此次上榜的大模型,internlm、deepsseek等很多知名的开源模型,在同openai、anthropic等旗下著名闭源大模型平台比拼时也不落下风。
ueadadyqhkqehkqheq