当前位置: 首页 > 资讯 > 科技 > SmolLM:Hugging Face打造的小型语言模型,低参数量下的杰出性能
  • 0
  • 0
  • 分享

SmolLM:Hugging Face打造的小型语言模型,低参数量下的杰出性能

Hugging Face 2024-07-17 17:43:33 爱吃爆米花

最近,Hugging Face,这家备受瞩目的开源人工智能社区与技术公司,宣布推出了其最新的轻量化语言模型——SmolLM(Small Language Model)。

SmolLM专为移动设备优化,能够在智能手机等资源受限的平台上高效运行,打破了以往语言模型体积庞大、只能在高性能服务器上运行的传统观念。

SmolLM模型的特点就是小巧而强大。它们能在更少的计算资源下,依然表现出色,帮助用户保护隐私。Hugging Face在训练这些模型时使用了一个叫做SmolLM-Corpus的数据集,这个数据集经过精心挑选,包含了丰富的教育和合成数据,确保模型能够学习到各种知识。

具体来说,SmolLM有三个版本:135M、360M和1.7B参数。这些模型不仅能处理多种任务,还能根据用户的硬件配置,灵活运行。比如,SmolLM-135M模型就超越了许多同类产品,成为了小于200M参数模型中的佼佼者。

SmolLM模型在各个基准测试中进行了评估,测试了常识推理和世界知识。这些型号表现出令人印象深刻的性能,在各自的尺寸类别中表现优于其他型号。例如,尽管在较少的令牌上进行了训练,但 SmolLM-135M 模型超过了 MobileLM-125M,后者是当前参数小于200M 的最佳模型。同样,SmolLM-360M 和 SmolLM-1.7B 模型分别优于参数小于500M 和2B 的所有其他模型。

除了优秀的性能,SmolLM还经过了特别的调教,使得它在理解指令和回答问题时更加出色。Hugging Face还提供了WebGPU的演示,大家可以直接体验这些模型的能力。

SmolLM的发布证明了即使是小型模型,也能通过高质量的训练数据,实现令人惊叹的表现。

来源:站长之家
免责声明:本内容来自互联网,不代表本网站的观点和立场,如有侵犯你的权益请来信告知;如果你觉得好,欢迎分享给你的朋友,本文网址 https://wangzhidaquan.com/zixun/67312.html
文章标签
评论

文明上网,理性发言,共同做网络文明传播者

验证码
提交
热榜
热门游戏
换一换
热门软件
换一换