近日,IBM宣布与业界瞩目的新兴AI公司Mistral AI达成深度合作,在其最新企业级AI开发平台Watsonx上正式提供开源的Mixtral 8x7B模型。这一举措标志着IBM Watsonx正积极整合尖端混合专家(MoE)技术,赋能用户通过利用Mistral AI创新研发的Mixtral-8x7B模型,进一步挖掘和提升业务场景下的智能推理及微调能力。
同时,这也体现了IBM对于开源社区持续贡献的决心以及对合作伙伴生态建设的重视,为开发者们提供了更为丰富多元的选择和更为便捷高效的部署环境。
IBM 提供了 Mixtral-8x7B 的优化版本,在内部测试中,与普通模型相比,它能够将吞吐量(即在给定时间内可处理的数据量)提高 50%。
这有可能将延迟时间缩短 35-75%,具体取决于批量大小--加快洞察时间。这是通过一个称为量化的过程实现的,该过程减少了 LLM 的模型大小和内存需求,反过来又能加快处理速度,有助于降低成本和能耗。
Mixtral-8x7B 的加入扩展了 IBM 的开放式多模型战略,以满足客户的需求,为他们提供选择和灵活性,从而在其业务中扩展企业人工智能解决方案。通过数十年的人工智能研发、与 Meta 和 Hugging Face 的开放合作以及与模型领导者的合作,IBM 正在扩展其 watsonx.ai 模型目录,并引入新的功能、语言和模式。
IBM 的企业就绪基础模型选择及其 watsonx 人工智能和数据平台可以帮助客户利用生成式人工智能获得新的洞察力和效率,并基于信任原则创建新的业务模式。IBM 可帮助客户为金融等目标业务领域的正确用例和性价比目标选择正确的模型。
Mixtral-8x7B 采用了稀疏建模(一种创新技术,只查找和使用数据中最重要的部分,以创建更高效的模型)和专家混合技术(Mixture-of-Experts)的组合,后者将擅长并解决不同部分问题的不同模型(“专家”)结合在一起。Mixtral-8x7B 模型因其能够快速处理和分析海量数据,提供与背景相关的见解而广为人知。
IBM 软件公司产品管理与增长高级副总裁 Kareem Yusuf 博士说:“客户要求有选择性和灵活性,以便部署最适合其独特用例和业务要求的模型。通过在watsonx上提供Mixtral-8x7B和其他模型,我们不仅为他们提供了部署人工智能的可选性,还为人工智能构建者和业务领导者提供了一个强大的生态系统,使他们能够利用工具和技术推动不同行业和领域的创新。”
本周,IBM还宣布在watsonx上提供由ELYZA公司开源的日本LLM模型ELYZA-japanese-Llama-2-7b。IBM还在watsonx上提供Meta的开源模型Llama-2-13B-chat和Llama-2-70B-chat以及其他第三方模型,未来几个月还将提供更多。
文明上网,理性发言,共同做网络文明传播者