当前位置: 首页 > 资讯 > 科技 > Azure H200 v5 AI虚拟机震撼发布:吞吐量劲增35%,HBM带宽飙升至4.8TB/s
  • 0
  • 0
  • 分享

Azure H200 v5 AI虚拟机震撼发布:吞吐量劲增35%,HBM带宽飙升至4.8TB/s

微软(Microsoft) 2024-10-08 16:35:54 爱吃爆米花

10月8日消息,微软官方博客于10月2日公布,Azure平台的H200 v5系列虚拟机现已全面开放预订,专为应对企业不断增长的AI计算需求而设计,此举标志着微软在支持高强度AI工作负载解决方案上迈出了坚实一步,为企业级用户带来更强大的云端算力支持。

微软在博文中表示:“H200 v5 系列虚拟机,通过规模、效率和增强性能等,推动客户和 Microsoft AI 服务(如 Azure 机器学习和 Azure OpenAI 服务)普及和落地”。

OpenAI 的基础设施负责人 Trevor Cai 表示,OpenAI 正在利用新的虚拟机系列推动研究和开发,并为用户微调 ChatGPT。

Cai 表示:“我们很高兴能够采用 Azure 的新 H200 虚拟机。我们发现 H200 在最小迁移工作下提供了更好的性能,我们期待使用这些虚拟机加速我们的研究,改善 ChatGPT 体验,并推动我们的使命”。

Azure H200 v5 系列虚拟机采用微软方案实现“增强效率和性能”,包括 8 个英伟达 H200 Tensor Core GPU,解决了企业用户在计算能力方面捉襟见肘的困境。

援引微软官方新闻稿,Azure H200 v5 系列虚拟机在运行 LLAMA 3.1 405B 模型推理工作负载时,吞吐量提升达 35%。

Azure ND H200 v5 系列虚拟机最高提供 141GB HBM,相比较上一代 H100 v5 提高了 76%,此外带宽为 4.8 TB/s,提高了 43%。

来源:it之家
免责声明:本内容来自互联网,不代表本网站的观点和立场,如有侵犯你的权益请来信告知;如果你觉得好,欢迎分享给你的朋友,本文网址 https://wangzhidaquan.com/zixun/93906.html
文章标签
评论

文明上网,理性发言,共同做网络文明传播者

验证码
提交
热门游戏
换一换
热门软件
换一换