最近,Hugging Face,这家备受瞩目的开源人工智能社区与技术公司,宣布推出了其最新的轻量化语言模型——SmolLM(Small Language Model)。
SmolLM专为移动设备优化,能够在智能手机等资源受限的平台上高效运行,打破了以往语言模型体积庞大、只能在高性能服务器上运行的传统观念。
SmolLM模型的特点就是小巧而强大。它们能在更少的计算资源下,依然表现出色,帮助用户保护隐私。Hugging Face在训练这些模型时使用了一个叫做SmolLM-Corpus的数据集,这个数据集经过精心挑选,包含了丰富的教育和合成数据,确保模型能够学习到各种知识。
具体来说,SmolLM有三个版本:135M、360M和1.7B参数。这些模型不仅能处理多种任务,还能根据用户的硬件配置,灵活运行。比如,SmolLM-135M模型就超越了许多同类产品,成为了小于200M参数模型中的佼佼者。
SmolLM模型在各个基准测试中进行了评估,测试了常识推理和世界知识。这些型号表现出令人印象深刻的性能,在各自的尺寸类别中表现优于其他型号。例如,尽管在较少的令牌上进行了训练,但 SmolLM-135M 模型超过了 MobileLM-125M,后者是当前参数小于200M 的最佳模型。同样,SmolLM-360M 和 SmolLM-1.7B 模型分别优于参数小于500M 和2B 的所有其他模型。
除了优秀的性能,SmolLM还经过了特别的调教,使得它在理解指令和回答问题时更加出色。Hugging Face还提供了WebGPU的演示,大家可以直接体验这些模型的能力。
SmolLM的发布证明了即使是小型模型,也能通过高质量的训练数据,实现令人惊叹的表现。
文明上网,理性发言,共同做网络文明传播者