资讯
近日消息，北京智源人工智能研究院(BAAI)成功发布了全球首个多语言模型竞技交流平台——FlagEval Debate。该平台的创设，旨在开创性地引入模型间的辩论模式，作为评估与衡量大型语言模型性能的新标尺。
作为FlagEval大模型对抗评估体系的延伸部分，FlagEval Debate专注于剖析并区分不同大语言模型间的能力特征与细微差别，推动AI领域评价标准的革新与发展。
现有的大模型对战存在一些问题，如模型对战结果往往平局，难以区分模型间的差异;测试内容依赖用户投票，需要大量用户参与;现有对战方式缺乏模型间的交互。为了解决这些问题，智源研究院采用了大模型辩论的形式进行评估。
辩论作为一种语言类智力活动，能够体现参与者的逻辑思维、语言组织、信息分析与处理能力。模型辩论能够展现大模型在信息理解、知识整合、逻辑推理、语言生成和对话能力等方面的水平，同时测试其在复杂语境中的信息处理深度和迁移应变能力。
智源研究院发现，辩论这种交互性对战形式能够凸显模型之间的差距，并可以基于少量数据样本计算模型有效排名。因此，他们推出了基于众测的中文大模型辩论平台FlagEval Debate。
该平台支持两个模型围绕辩题展开辩论，辩题由平台随机抽取，辩题库主要由热搜话题、评测专家以及顶级辩论专家命制的辩题构成。所有用户均可在平台上对每场辩论进行评判，以提高用户体验。
每场模型辩论包括5轮意见发表，正反双方各有一次机会。为避免正反方位置带来的偏差，两个模型都会各做一次正方一次反方。每个大模型会与其他模型进行多场辩论，最终根据获胜积分计算模型排名。
模型辩论对战采取开放性众测和专家评测两种方式，其中专家评审团由专业辩论赛的选手和评委组成。开放性众测观众可以自由鉴赏和投票。
智源研究院表示，将继续探索模型辩论的技术路径与应用价值，坚持科学、权威、公正、开放的原则，不断完善FlagEval大模型评测体系，为大模型评测生态提供新的洞察与思考。
文明上网，理性发言，共同做网络文明传播者