当前位置: 首页 > 资讯 > 科技 > 元象XVERSE-MoE-A36B开源巨献:36亿参数MoE大模型,激活AI创新新时代
  • 0
  • 0
  • 分享

元象XVERSE-MoE-A36B开源巨献:36亿参数MoE大模型,激活AI创新新时代

元象 2024-09-17 09:07:38 爱吃爆米花

近日消息,深圳元象信息科技有限公司最新宣告,其自主研发的中国最大规模Mixture of Experts(MoE)开源模型XVERSE-MoE-A36B已成功面世。此模型的推出,象征着中国AI技术的重要飞跃,有力推动国产开源创新达到国际前沿标准。

XVERSE-MoE-A36B模型拥有255B的总参数和36B的激活参数,其性能可与超过100B参数的大模型相媲美,实现了跨级的性能跃升。该模型在训练时间上减少了30%,推理性能提升了100%,大幅降低了每token的成本,使得AI应用的低成本部署成为可能。

元象XVERSE的"高性能全家桶"系列模型已全面开源,无条件免费供商业使用,这为众多中小企业、研究者和开发者提供了更多的选择机会。MoE架构通过组合多个细分领域的专家模型,打破了传统扩展定律的局限,在扩大模型规模的同时,保持了模型性能的最大化,并降低了训练和推理的计算成本。

在多个权威评测中,元象MoE的效果显著超越了多个同类模型,包括国内千亿MoE模型Skywork-MoE、传统MoE霸主Mixtral-8x22B,以及3140亿参数的MoE开源模型Grok-1-A86B等。

来源:站长之家
免责声明:本内容来自互联网,不代表本网站的观点和立场,如有侵犯你的权益请来信告知;如果你觉得好,欢迎分享给你的朋友,本文网址 https://wangzhidaquan.com/zixun/87889.html
文章标签
评论

文明上网,理性发言,共同做网络文明传播者

验证码
提交
热门游戏
换一换
热门软件
换一换