通义千问首个千亿参数模型来了
中证金牛座
中证金牛座
据“阿里通义千问”微信公众号4月28日消息,通义千问首次推出千亿级参数模型Qwen1.5-110B。据介绍,Qwen1.5-110B基础能力可与Meta-Llama-3-70B媲美,是Qwen1.5系列中规模最大的模型,也是该系列中首个拥有超1000亿参数的模型。
据研究团队评估,结果显示:在MMLU、GSM8K、MATH、HumanEval等基准测试中,Qwen1.5-110B模型是三者中表现最优的。在TheoremQA、ARC-C、MBPP等评测中,Qwen1.5-110B模型表现优于Llama-3-70B。
图片来源:“阿里通义千问”微信公众号
此外,据研究团队对Chat模型进行的评估,对比Qwen1.5-110B-Chat模型在MT-Bench和AlpacaEval 2.0上的表现。结果显示:与之前发布的Qwem1.5-72B-Chat模型相比,Qwen1.5-110B-Chat模型的表现显然更好。
图片来源:“阿里通义千问”微信公众号
今年以来,通义千问团队推出最新开源模型系列Qwen1.5,随后在不到3个月的时间连续推出8款大语言模型,此前的模型参数规模涵盖5亿、18亿、40亿、70亿、140亿、320亿、720亿,而本次Qwen1.5-110B的参数规模达到1100亿。据悉,目前通义千问开源模型下载量超过700万。
编辑:余喆 张祉璇