资讯
4月28日消息，通义千问震撼发布Qwen1.5-110B，首个千亿参数模型惊艳亮相，基础性能与对话交互评估中力压群雄，实现质的飞跃。
Qwen1.5-110B 采用了 Transformer 解码器架构，支持多种语言，并且具有高效的分组查询注意力机制。在 Chat 评估中，该模型相较于之前的版本表现更好，显示了更大规模模型的潜力。
110B 模型的性能提升主要来自于增加的模型规模，而训练方法并未大幅改变。然而，尽管未改变训练方法，模型规模的增加依然带来了更好的 Chat 模型效果，这表明模型规模的扩展在提升性能方面具有重要意义。
Qwen1.5-110B 是通义千问系列中规模最大的模型，也是首个拥有超过1000亿参数的模型。它在与最近发布的 SOTA 模型的性能比较中表现出色，显示出在模型大小扩展方面仍有很大的提升空间。
未来，团队将继续探索模型规模提升和扩展预训练数据规模两种方法带来的优势。
文明上网，理性发言，共同做网络文明传播者