当前位置: 首页 > 资讯 > 科技 > Hugging Face发布“SmolLM”轻量级Python模型,iPhone 15低配版亦能流畅运行
  • 0
  • 0
  • 分享

Hugging Face发布“SmolLM”轻量级Python模型,iPhone 15低配版亦能流畅运行

Hugging Face 2024-07-22 10:59:18 爱吃爆米花

近日消息,Hugging Face发布了其“SmolLM”模型系列,精心打造了包含1.35亿、3.6亿及17亿参数的不同型号,为移动设备的AI应用注入了新活力,丰富了轻量级AI模型的应用场景。

据介绍,这些模型号称是以精心策划的高质量训练数据集训练而成,号称在 Python 程序编写性能上相当强大,团队指出他们重点优化了模型所需的 RAM 用量,“即使是在 6GB RAM 的 iPhone 15 上也能运行”。

在训练方面,Hugging Face 团队首先建立了一款名为 SmolLM-Corpus 的数据集,该数据集主要包含 Python 教学内容 Python-Edu、Web 教育内容 FineWeb-Edu 以及使用 Mixtral-8x7B-Instruct-v0.1 和 Cosmopedia v2 两款模型生成的常识内容,token 量总计 6000 亿。此后 Hugging Face 团队便使用 SmolLM-Corpus 数据集训练了“SmolLM”小语言模型。

Hugging Face 团队将开发出的 SmolLM 模型与相同参数量的其他模型进行了基准测试,其中 SmolLM-135M 在多项测试中超越了小于 2 亿参数的其他模型;而 SmolLM-360M 的测试成绩优于所有小于 5 亿参数以下的模型,不过某些项目逊于 Meta 刚刚公布的 MobileLLM-350M;SmolLM-1.7B 模型则超越了所有参数量小于 20 亿参数的模型,包括微软 Phi-1.5、MobileLLM-1.5B 及 Qwen2。

来源:it之家
免责声明:本内容来自互联网,不代表本网站的观点和立场,如有侵犯你的权益请来信告知;如果你觉得好,欢迎分享给你的朋友,本文网址 https://wangzhidaquan.com/zixun/68460.html
文章标签
评论

文明上网,理性发言,共同做网络文明传播者

验证码
提交
热榜
热门游戏
换一换
热门软件
换一换