当前位置: 首页 > 资讯 > 科技 > 智谱AI开源新纪元:GLM-4-9B模型正式发布,赋能AI创新边界拓展
  • 0
  • 0
  • 分享

智谱AI开源新纪元:GLM-4-9B模型正式发布,赋能AI创新边界拓展

智谱AI 2024-06-08 09:50:18 爱吃爆米花

近日消息,GLM技术社群在2023年3月14日的ChatGLM-6B开源举动收获了业界的广泛关注与高度赞誉,紧接着ChatGLM3-6B的发布再次激发了开发者社群的热情。

历经近半年的深入研发与创新,GLM技术团队不负众望,终于揭晓了其备受期待的第四代力作——GLM-4-9B模型,标志着GLM系列开源模型踏入了一个全新的发展阶段。

GLM-4-9B 在预训练方面引入了大语言模型进行数据筛选,获得了10T 高质量多语言数据,数据量是 ChatGLM3-6B 的3倍以上。同时,采用了 FP8技术进行高效的预训练,训练效率提高了3.5倍。在有限显存的情况下,探索了性能极限,发现6B 模型性能有限。考虑到大多数用户的显存大小,将模型规模提升至9B,并将预训练计算量增加了5倍。

GLM-4-9B 模型具备更强大的推理性能、更长的上下文处理能力、多语言、多模态和 All Tools 等能力。包括基础版本 GLM-4-9B(8K)、对话版本 GLM-4-9B-Chat(128K)、超长上下文版本 GLM-4-9B-Chat-1M(1M)和多模态版本 GLM-4V-9B-Chat(8K)。

GLM-4-9B 的能力包括:

1. 基础能力:模型中英文综合性能比 ChatGLM3-6B 提升了40%;

2. 长文本能力:上下文从128K 扩展到1M tokens,相当于2本红楼梦或125篇论文的长度;

3. 多语言能力:支持26种语言,词表大小扩充到150k,编码效率提高30%;

4. Function Call 能力:在 Berkeley Function-Calling Leaderboard 上表现优秀;

5. All Tools 能力:模型可以使用外部工具完成任务;

6. 多模态能力:首次推出多模态模型,性能显著。

来源:站长之家
免责声明:本内容来自互联网,不代表本网站的观点和立场,如有侵犯你的权益请来信告知;如果你觉得好,欢迎分享给你的朋友,本文网址 https://wangzhidaquan.com/zixun/52108.html
文章标签
评论

文明上网,理性发言,共同做网络文明传播者

验证码
提交
热门游戏
换一换
热门软件
换一换