微软创新之举：全新大模型压缩策略SliceGPT

微软最新推出的SliceGPT技术，作为一种革命性的大语言模型压缩策略，已成功实现在零样本任务场景下，对LLAMA2-70B、OPT66B及Phi-2等模型的性能保持在99%、99%和90%以上的高水平，同时显著地将这些模型参数量削减高达25%，包括嵌入层在内的诸多组件得以优化。这一创新之举不仅极大地缩减了模型规模，还有效保证了模型原有的功能表现力，为AI领域的模型轻量化与高效部署开启了新的探索篇章。

这意味着使用SLICE GPT的模型可以在更少的GPU上运行，并且运行速度更快，无需任何额外的代码优化。在24GB的消费级GPU上，将LLAMA2-70B的总计算量减少到密集模型的64%;在40GB的A100GPU上减少到66%。

SLICE GPT的主要特点包括解决了大语言模型在存储和计算资源上的高需求问题，并提供了一种有效减轻这些资源需求的方法，同时保持或仅轻微牺牲模型性能，这对于推广大型模型的应用和降低运行成本具有重要意义。

具体来说，SLICE GPT能够减少大型语言模型的尺寸，通过在不损失显著性能的前提下，减少模型参数数量，SLICE GPT能够减少大型语言模型的尺寸。它还能提高模型在硬件上的运行效率，减少了所需的计算资源，并且能够在去除一定比例的模型参数的同时，保持模型的性能。此外，SLICE GPT不仅适用于特定的模型或架构，它的方法可以广泛应用于各种变换器网络模型。

SLICE GPT的工作原理基于一种新的后训练稀疏化方案，通过两个关键步骤来减少大型语言模型的计算和内存需求。首先是替换权重矩阵，通过将模型中的每个权重矩阵替换为一个更小的（密集的）矩阵来减少网络的嵌入维度，有效地缩减了模型的大小。

其次是维持计算不变性，SLICE GPT引入了变换器网络中的“计算不变性”概念，通过特定的变换操作，改变权重矩阵的形状，而不改变其在模型中的功能和影响，从而达到减少模型参数的目的，同时保持模型的性能。这种方法的核心优势在于，它允许模型在去除一定比例的参数后，仍然能够保持接近原始模型的性能，适用于资源受限的设备上部署大型模型，比如普通的个人电脑或者移动设备。

扩 展 阅 读

微软考虑限制Windows内核访问，小蓝熊等反作弊或将淘汰

微软（Microsoft） 前天