微软与MIT携手，引领AI推理新时代：精炼6700万参数模型，挑战GPT-4顶尖地位

近日，在这个信息爆炸的时代，智能设备如何理解“因为下雨，所以要带伞”这类因果关系，实际上涉及到人工智能领域的一个重要分支——因果推理（Causal Inference）。

一群来自微软和麻省理工学院等知名学术机构的研究人员，共同开发了一种突破性的机器学习训练策略。这项策略不仅克服了大型机器学习模型在逻辑推理方面的不足，还通过以下步骤实现了显著的进步：

独特的训练方法：研究人员采用了一种新颖的训练方法，这可能与常规的机器学习训练技术有所区别。

逻辑推理的改进：他们的方法显著提升了大型模型的逻辑推理能力，解决了先前存在的挑战。

利用因果关系构建训练集：研究团队利用因果关系模型来构建训练数据集，这种模型能够揭示变量间的因果联系，有助于训练出能够理解数据背后因果逻辑的模型。

教授模型基础公理：他们直接向模型传授逻辑和数学中的基础前提，帮助模型更好地进行逻辑推理。

小型Transformer模型的惊人表现:尽管模型参数仅有6700万，但通过这种方法训练出的Transformer模型，在推理能力上竟能与GPT-4相媲美。

因果推理，听起来像是哲学家的专利，但其实它早已渗透到我们生活的方方面面。对于人工智能来说，掌握因果推理，就像是学会了用“因为...所以...”来解释世界。但AI不是天生就会这个的，它们需要学习，而这学习的过程，就是这篇论文要说的故事。

公理训练方法：

想象一下，你有一个非常聪明的学生，但它对世界的因果关系一无所知。你要怎么教它呢?研究人员就想出了一个办法——公理训练。这就像是给AI一本“因果关系手册”，让它通过这本手册，学会如何识别和应用因果规则。

研究人员用变换器模型做了实验，结果发现，这种训练方法真的有效!AI不仅学会了在小规模的图上识别因果关系，而且还能把这些知识应用到更大的图上，即使它以前没见过这么大的图。

这项研究的贡献在于，它提供了一种新的方法，让AI能够从被动数据中学习因果推理。这就像是给了AI一种新的“思考”方式，让它能够更好地理解和解释世界。

这项研究不仅让我们看到了AI学习因果推理的可能性，也为我们打开了一扇门，让我们看到了AI在未来可能的应用场景。也许在不久的将来，我们的智能助手不仅能回答问题，还能告诉我们为什么会这样。

扩 展 阅 读

微软考虑限制Windows内核访问，小蓝熊等反作弊或将淘汰

微软（Microsoft） 前天