近日消息,深圳元象信息科技有限公司最新宣告,其自主研发的中国最大规模Mixture of Experts(MoE)开源模型XVERSE-MoE-A36B已成功面世。此模型的推出,象征着中国AI技术的重要飞跃,有力推动国产开源创新达到国际前沿标准。
XVERSE-MoE-A36B模型拥有255B的总参数和36B的激活参数,其性能可与超过100B参数的大模型相媲美,实现了跨级的性能跃升。该模型在训练时间上减少了30%,推理性能提升了100%,大幅降低了每token的成本,使得AI应用的低成本部署成为可能。
元象XVERSE的"高性能全家桶"系列模型已全面开源,无条件免费供商业使用,这为众多中小企业、研究者和开发者提供了更多的选择机会。MoE架构通过组合多个细分领域的专家模型,打破了传统扩展定律的局限,在扩大模型规模的同时,保持了模型性能的最大化,并降低了训练和推理的计算成本。
在多个权威评测中,元象MoE的效果显著超越了多个同类模型,包括国内千亿MoE模型Skywork-MoE、传统MoE霸主Mixtral-8x22B,以及3140亿参数的MoE开源模型Grok-1-A86B等。
文明上网,理性发言,共同做网络文明传播者