当前位置: 首页 > 资讯 > 科技 > 边缘端ChatGPT时代降临,面壁智能揭晓小钢炮MiniCPM3-4B开源AI模型
  • 0
  • 0
  • 分享

边缘端ChatGPT时代降临,面壁智能揭晓小钢炮MiniCPM3-4B开源AI模型

面壁智能 2024-09-07 09:01:49 爱吃爆米花

近日消息,面壁智能官方公众号发表文章,正式宣告开源MiniCPM3-4B AI模型,这一举动被业界视为标志着“端侧ChatGPT时代”的开启,预示着强大的AI对话功能即将普及至更多终端设备上。

MiniCPM3-4B 是 MiniCPM 系列的第三代产品,整体性能超过了 Phi-3.5-mini-Instruct 和 GPT-3.5-Turbo-0125,媲美多款 70 亿~90 亿参数的 AI 模型。

相比 MiniCPM1.0 / MiniCPM2.0,MiniCPM3-4B 拥有更强大、更多用途的技能集,可用于更广泛的用途。MiniCPM3-4B 支持函数调用和代码解释器。

下面是 3 个版本的模型结构(1->2->3)的区别:

词表大小:123K->73K->73K

模型层数:40->52->62

隐藏层节点:2304->1536->2560

最大长度:4k->4K->32k

系统提示词:不支持-> 不支持-> 支持

工具调用和代码解释器:不支持-> 不支持-> 支持

MiniCPM3-4B 有一个 32k 上下文窗口。MiniCPM3-4B 借助 LLMxMapReduce,不需要占用太高的内存,可以处理理论上的无限上下文。

面壁智能还发布了 RAG 套件 MiniCPM-Embedding 模型和 MiniCPM-Reranker 模型,针对 RAG 场景还发布了微调版 MiniCPM3-RAG-LoRA 模型。

来源:it之家
免责声明:本内容来自互联网,不代表本网站的观点和立场,如有侵犯你的权益请来信告知;如果你觉得好,欢迎分享给你的朋友,本文网址 https://wangzhidaquan.com/zixun/85283.html
文章标签
评论

文明上网,理性发言,共同做网络文明传播者

验证码
提交
热门游戏
换一换
热门软件
换一换