资讯
AMD于9月29日在Hugging Face平台上震撼发布其首个自主研发的“轻量级”语言模型——AMD-Llama-135m。该模型创新性地集成了高效推测解码技术，搭载着惊人的6700亿个token规模，彰显了强大的语言处理能力。更重要的是，AMD选择以Apache 2.0开源许可证分享此模型，促进了AI领域的开放合作与技术创新。
据介绍，这款模型主打“推测解码”能力，其基本原理是使用小型草稿模型生成一组候选 token，然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token，而不会影响性能，从而显著减少 RAM 占用，实现效率提升。
AMD 表示，这款模型在四个 AMD Instinct MI250 节点训练了六天，其“编程专用版本”变体 AMD-Llama-135m-code 则额外耗费了四天时间进行微调。
文明上网，理性发言，共同做网络文明传播者