资讯
6月27日消息，加州大学圣克鲁兹分校的科研团队近日宣布了一项革命性进展，他们研发的创新AI算法仅需13瓦特电力即可驱动拥有十亿参数的复杂语言模型，这一能耗水平堪比日常使用的LED灯泡。相比之下，目前数据中心广泛采用的GPU在执行相似的大规模语言模型运算任务时，平均耗电量高达700瓦特。
AI 浪潮下很多公司、机构的研究主方向是应用、推理方面，很少考虑效率等指标。该研究人员为缓解这种状况，淘汰了矩阵乘法的密集型技术，提出了“三元数”方案，只有负一、零或正一三个数值。
团队还使用一种名为现场可编程门阵列（FPGA）的高度定制电路创建了定制硬件，让他们能够最大限度地利用神经网络中的所有节能功能。
在定制硬件上运行时，可以达到与 Meta 的 Llama 等顶级模型相同的性能，但神经网络功率是常规配置的五十分之一。
该神经网络设计还可以用于在人工智能行业常用的标准 GPU 上运行，测试结果显示，与基于矩阵乘法的神经网络相比，显存占用仅为十分之一。
文明上网，理性发言，共同做网络文明传播者