当前位置: 首页 > 资讯 > 科技 > AMD推出首个10亿参数开源AI模型OLMo,基于Instinct MI250 GPU集群训练
  • 0
  • 0
  • 分享

AMD推出首个10亿参数开源AI模型OLMo,基于Instinct MI250 GPU集群训练

AMD 2024-11-08 10:21:15 爱吃爆米花

11月8日消息,AMD 公司在10月31日通过一篇官方博文宣布了其最新的AI研究成果——首个完全开放的10亿参数语言模型系列AMD OLMo。这一新工具旨在为开发者和研究人员提供更加强大的支持,以推动人工智能领域的进一步发展。

AMD OLMo 模型使用从零开始训练的 10 亿参数语言模型系列(LMs),在 AMD Instinct™ MI250 GPU 集群上训练,使用了超过 1.3 万亿个 tokens 进行预训练,让模型在处理自然语言任务时具有强大的推理能力。

OLMo 模型采用解码器(decoder-only)架构,并通过下一个标记预测(next-token prediction)进行训练,这种架构在生成文本和理解上下文方面表现出色。

与其他同类开源模型相比,AMD OLMo 在推理能力和聊天能力上表现优异。尤其是在多个基准测试中,其性能与最新的 OLMo 模型相当,且计算预算仅为其一半。

OLMo 除数据中心使用外,更支持配备 NPU(Neural Processing Unit,神经处理单元)的 AMD Ryzen AI PC 能够部署模型,使开发者能在个人设备提供 AI 功能。

AMD OLMo 是完全开源的,这意味着其他开发者和公司可以自由使用和修改这些模型,这让其成为希望探索 AI 技术替代方案的企业的一个可行选择。

来源:it之家
免责声明:本内容来自互联网,不代表本网站的观点和立场,如有侵犯你的权益请来信告知;如果你觉得好,欢迎分享给你的朋友,本文网址 https://wangzhidaquan.com/zixun/99558.html
文章标签
AMD
评论

文明上网,理性发言,共同做网络文明传播者

验证码
提交
热门游戏
换一换
热门软件
换一换