近日消息,猎户星空不久前揭晓了其自主研发的超大规模开源模型Orion-14B,该模型拥有高达140亿参数的卓越性能,在多个公认的语言处理基准测试中,充分验证了Orion-14B作为百亿级别参数大模型在行业内的领先地位,展现出卓越全面的基础性能表现。
不仅如此,Orion-14B超越了市面上许多更大参数的模型,尤其日语和韩语能力表现优秀,评测全球第一。
猎户星空董事长傅盛强调,Orion-14B在语料训练中专门强化了日语和韩语,旨在为猎户星空出海商用机器人应用提供支持。
猎户星空机器人在日本和韩国不仅限于送餐服务,还能与用户进行流畅的交流。
值得一提的是,Orion-14B通过AWQ Q4量化技术,模型大小减少70%,推理速度提升30%,性能几乎无损(损失小于1%),在千元级显卡可以流畅运行。在NVIDIA RTX 3060显卡实测,推理速度可达31 token/s (约每秒50汉字)。
文明上网,理性发言,共同做网络文明传播者