资讯
近日消息，一个由多个企业和学术机构组建的日本跨领域研究联盟，于近日揭晓了其最新的研究成果——Fugaku-LLM 高性能语言模型。
此模型之所以引人注目，是因为它是在全球顶尖的Arm架构超级计算机“富岳”上完成训练的，标志着在非传统计算平台上大型AI模型训练的又一重大里程碑。
Fugaku-LLM 模型的开发于 2023 年 5 月启动，初期参与方包括富岳超算所有者富士通、东京工业大学、日本东北大学和日本理化学研究所（理研）。
而在 2023 年 8 月，另外三家合作方 —— 名古屋大学、CyberAgent（也是游戏企业 Cygames 的母公司）和 HPC-AI 领域创企 Kotoba Technologies 也加入了该模型研发计划。
在昨日发布的新闻稿中，研究团队表示其充分挖掘了富岳超算的性能，将矩阵乘法的计算速度提高了 6 倍，通信速度也提升了 3 倍，证明大型纯 CPU 超算也可用于大模型训练。
Fugaku-LLM 模型参数规模为 13B，是日本国内最大的大型语言模型。
其使用了 13824 个富岳超算节点在 3800 亿个 Token 上进行训练，其训练资料中 60% 为日语，其他 40% 包括英语、数学、代码等部分。
该模型的研究团队宣称 Fugaku-LLM 模型可在交流中自然使用日语敬语等特殊表达。
具体到测试成绩上，该模型在日语 MT-Bench 模型基准测试上的平均得分为 5.5，排在基于日本语料资源的开放模型首位，并在人文社科类别中得到了 9.18 的高分。
目前 Fugaku-LLM 模型已在 GitHub 和 Hugging Face 平台公开，外部研究人员和工程师可在遵守许可协议的前提下将该模型用于学术和商业目的。
文明上网，理性发言，共同做网络文明传播者