当前位置: 首页 > 资讯 > 科技 > 摩尔线程万卡GPU集群实现重大突破,性能飙升可达20倍提升
  • 0
  • 0
  • 分享

摩尔线程万卡GPU集群实现重大突破,性能飙升可达20倍提升

摩尔线程 2024-07-19 11:26:52 爱吃爆米花

近日消息,摩尔线程与清华系AI系统软件企业清程极智宣布建立战略合作伙伴关系,双方携手致力于加速国产大规模GPU智能计算集群的应用落地,旨在促进AI算力生态的蓬勃成长,为大型模型应用领域注入更加强劲、灵活且高效率的基础建设支持。

摩尔线程近期宣布了从千卡至万卡的全功能GPU智算集群扩展方案,双方此番合作就将聚焦于万卡级超大规模GPU智算集群的开发与优化。

清程极智是一家致力于构建高效人工智能系统软件,赋能国产算力,支撑大模型行业发展的公司,自主研发了智能编译器IntelliGen、高效并行训练系统FastMoE,能够显著加速Transformer类模型和混合专家MoE模型的处理速度,部分模型性能提升最高可达15-20倍。

目前,清程极智的核心产品已全面适配摩尔线程自研的MUSA平台。

摩尔线程还宣布,已与北京智源人工智能研究院顺利完成基于Triton语言的高性能算子库FlagGems的适配工作。

利用摩尔线程自研的统一系统计算架构MUSA,双方只用了短短一个多星期,就成功完成了近60个算子的功能验证,精度符合交付标准,并实现了对Bert-large模型的全面支持。

摩尔线程研发团队经过充分调研论证,还形成了Triton编译器在MUSA架构上适配的完整方案,力求实现开发者在基于摩尔线程全功能GPU进行Triton开发算子过程中,也能获得与原来一致的体验,做到CUDA框架、MUSA框架的无缝迁移。

在摩尔线程MUSA架构上,FlagGems算子库展现出了接近手写算子的计算性能,而且性能还在持续调优,极大加速了开源大模型在摩尔线程全功能GPU上的部署速度。

智源研究院是北京市于2018年11月推动成立的新型研发机构,核心目标是聚焦AI原始创新和核心技术,推动AI理论、方法、工具、系统和应用取得变革性、颠覆性突破,支撑北京建设成为全球AI学术思想、基础理论、顶尖人才、企业创新和发展政策的源头。

智源研究院的FlagGems算子库是一个使用Triton编程语言实现的高性能通用算子库,旨在为大语言模型提供一系列可应用于PyTorch框架的算子,加速模型的推理与训练,降低新算法的开发门槛。

它以Triton编程语言的易用性和编译器的标准接口为基础,为多元芯片提供了一套易适配、高性能的算子解决方案,推动基于Triton的统一、开源的软硬件生态建设。

来源:快科技
免责声明:本内容来自互联网,不代表本网站的观点和立场,如有侵犯你的权益请来信告知;如果你觉得好,欢迎分享给你的朋友,本文网址 https://wangzhidaquan.com/zixun/67993.html
文章标签
评论

文明上网,理性发言,共同做网络文明传播者

验证码
提交
热门游戏
换一换
热门软件
换一换