5月30日消息,谷歌于其年度I/O开发者盛会抛出了一枚重型炸弹,宣布对Gemini 1.5 Pro进行重大升级,将其上下文处理窗口扩容至前所未有的200万个tokens级别。这一革新举措不仅引发了科技界的广泛关注,也引发了对Gemini 1.5 Pro实际表现能力的深度探讨。
根据公布的总排行榜对比,通过 Arena Elo 系统的测量,Gemini-1.5-Pro-API-0514 和 Gemini-Advanced-0514 都接近 GPT-4o。
上述两款模型在中文方面的表现也非常优秀,Gemini 1.5 Pro 在“hard prompts”类别中也非常接近。
注:Arena Elo 系统通过让用户匿名投票决定哪个模型在随机对战中表现更好来衡量大型语言模型(LLMs)的技能,并像国际象棋中的 Elo 系统一样更新用户的评分,整体而言更加客观。
文明上网,理性发言,共同做网络文明传播者