Meta革新多Token预测技术，AI模型运行速度跃升三倍高效界

5月7日消息，来自Meta公司、巴黎高科桥路学院（Ecole des Ponts ParisTech）及巴黎萨克雷大学（Université Paris-Saclay）的科研团队，在其联合研究项目中揭示了一项挑战传统自回归语言模型的新策略，该策略能够显著增强大型语言模型（LLMs）的预测效率与响应速度。

与传统的逐token预测模式不同，这项创新方法颠覆性地实现了对多个token的同时预测，为AI语言处理领域带来了一场速度与精度的革命。

然而，多token预测并非适用于所有类型的模型和语言任务，但在某些领域中提供了重大优势，推理速度提升了3倍，并在生成任务上表现更佳。虽然仍有改进空间，但这项技术可能成为某些 LLM 应用的强大工具。

传统的训练 LLMs 的方法被称为 “下一个token预测”，这是一种自监督学习技术，模型被给定一个token序列，必须预测下一个token。然后将预测的token添加到输入中，重复这个过程，一次预测一个token。在大量文本语料上重复此过程，模型学习了允许它输出连贯文本段落的一般模式。

研究人员已经研究并记录了下一个token预测在获取语言、世界知识和推理能力方面的局限性。新研究的假设是 “训练语言模型同时预测多个未来token会导致更高的样本效率”。

多token预测指示 LLM 同时预测训练语料库中每个位置的多个来token。研究人员提出了一个简单的多token预测架构，不需要额外的训练时间或内存开销。

他们在多种任务上测试了新的多token预测方案，发现在小型模型上，多token预测导更差的结果，但随着模型规模的增加，它变得越来越有用。此外，多token预测还使模型在推理时间上提升了3倍，尤其在 “字节级标记化” 训练上，多字节预测大幅优于基线的单字节预测模型。多token预测仍有改进空间，研究人员正在考虑自动选择最佳预测token数量的技术，以及研究词汇量和多token预测之间的动态关系。

这项研究及其未来的改进对企业应用有用的地方在于，它有可能为生成任务提供更快的推理和更高的准性，几乎不需要额外的成本。同时，它保留了大部分 LLM 架构，可以与 Transformer 块的其他优化技术兼容。

扩 展 阅 读

每日科技早报｜Meta因触犯欧盟反垄断规则遭罚近8亿欧元，京东Q3营收突破2600亿元

Meta 7天前