资讯
3月7日，英伟达震撼发布Nemotron-4 15B这一语言模型新星，凭借其出众性能与革新设计在业界引发热议。这款模型凝聚了150亿训练参数，并在此基础上，深度汲取自8万亿高质量文本标注数据的智慧精华进行预训练作业。
在多领域测试中，Nemotron-415B在7个领域中的4个表现优异，超越了同类大小的开源模型。特别值得注意的是，在代码语言方面，Nemotron-415B展现出更高的准确率，尤其在资源稀缺的编程语言上超过了Starcoder和Mistral7B等模型。
该模型采用了标准的Transformer架构，包括多头自注意力机制和前馈神经网络。其独特之处在于，Nemotron-415B结合了自注意力和全局注意力机制，以更好地理解输入序列内部的依赖关系和输入序列与输出序列之间的对应关系。多头注意力的引入进一步提高了模型的表达能力和泛化能力。
在训练过程中，研究人员充分利用了384个DGX H100节点，每个节点搭载8个基于NVIDIA Hopper架构的H10080GB SXM5GPU。通过8路张量并行和数据并行的组合，以及分布式优化器进行分片，成功完成了Nemotron-415B的训练。
Nemotron-415B在英语、数学推理、多语言分类和代码等多个测试任务中表现出色，不仅在性能上超越了LLaMA-234B和Mistral7B，在广泛的代码语言中也取得了更高的准确率。这一成就为大型语言模型的发展和应用提供了崭新的视角。
文明上网，理性发言，共同做网络文明传播者