近日消息,北京智源人工智能研究院(BAAI)对外公告,正式启动全球首项融合文本生成视频能力的模型竞技评估平台——FlagEval大模型角斗场,为AI技术的创新与突破开启了全新的竞技舞台。
这一服务面向用户开放,覆盖了国内外约40款大模型,并支持语言问答、多模态图文理解、文生图、文生视频等四大任务的自定义在线或离线评测。FlagEval大模型角斗场的推出,不仅提供了简单理解、知识应用、代码能力、推理能力等多种预设问题的评测,还首次引入了主观倾向阶梯评分体系,以更精确地揭示模型性能差异。
该服务采取匿名机制进行评测,确保评测过程的公正性。用户可以通过网页端或国内首个移动端访问入口参与评测,体验高效的模型对战评测。FlagEval大模型角斗场的评分结果将即时公示,形成角斗场榜单,展现各模型的对战能力。
智源研究院表示,将对模型对战评测的全链路数据进行开源,以促进大模型评测生态的发展。FlagEval大模型角斗场的推出,进一步拓展了智源在模型评测领域的技术布局和工具方法的研发,为人工智能领域的研究和应用提供了新的测试和评估工具。
文明上网,理性发言,共同做网络文明传播者