近日消息,英伟达在AI领域迈出重要一步,最新发布的Mistral-NeMo-Minitron 8B小语言模型,凭借其卓越的精度与高效的计算性能,为行业树立了新标准。
该模型能够在GPU加速环境中流畅运行,无论是数据中心、云端还是个人工作站,都能实现强大的语言处理能力,进一步推动了AI技术的实际应用和发展。
英伟达携手 Mistral AI 上月发布开源 Mistral NeMo 12B 模型,在此基础上英伟达再次推出更小的 Mistral-NeMo-Minitron 8B 模型,共 80 亿个参数,可以在搭载英伟达 RTX 显卡的工作站上运行。
英伟达表示通过宽度剪枝(width-pruning)Mistral NeMo 12B,并知识蒸馏(knowledge distillation)轻度重新训练后获得 Mistral-NeMo-Minitron 8B,相关成果发表在《Compact Language Models via Pruning and Knowledge Distillation》论文中。
剪枝通过去除对准确率贡献最小的模型权重来缩小神经网络。在 "蒸馏" 过程中,研究小组在一个小型数据集上重新训练剪枝后的模型,以显著提高通过剪枝过程而降低的准确率。
就其规模而言,Mistral-NeMo-Minitron 8B 在语言模型的九项流行基准测试中遥遥领先。这些基准涵盖了各种任务,包括语言理解、常识推理、数学推理、总结、编码和生成真实答案的能力。
文明上网,理性发言,共同做网络文明传播者