资讯
近日消息，由中国电信人工智能研究院（TeleAI）传来喜讯，其成功利用全国产化万卡集群完成了国内首个万亿参数大模型的训练工作。更令人振奋的是，TeleAI正式宣布开源首个基于国产硬件与深度学习框架的千亿参数大模型——星辰语义大模型TeleChat2-115B。
官方表示，这项科研成果标志着国产大模型训练真正实现全国产化替代，正式进入全国产自主创新、安全可控的新阶段。
TeleChat2-115B 基于中国电信自研的天翼云“息壤一体化智算服务平台”和人工智能公司“星海 AI 平台”训练完成。据介绍，其在保证训练精度的前提下利用多种优化手段提升模型训练效率和稳定性，实现了 GPU 同等算力计算效率超 93% ，模型有效训练时长占比超 98% 。
针对超大参数模型训练，TeleAI 采用了大量小模型进行 Scaling，进而验证不同模型结构的有效性。同时，在数据配比方面，基于小模型实验结果反馈，采用回归预测模型，得到较优数据配比。
在 Post-Training（后训练）方面，TeleAI 首先针对数学、代码和逻辑推理等内容合成了大量问答数据，用于 SFT（监督式微调）第一阶段模型训练。
其次，其采用迭代式更新策略，使用模型对提示词数据进行指令复杂性提升与多样性扩充，通过模型合成和人工标注提升答案质量，并利用拒绝采样获取优质 SFT 数据及 RM（奖励模型）代表性数据，用于 SFT 训练和 DPO（偏好对齐）训练，以及模型效果迭代。
文明上网，理性发言，共同做网络文明传播者