革新交互体验：谷歌推出ScreenAI模型，实现对用户界面与信息图表的智能解析

谷歌科研团队于3月5日揭晓了ScreenAI这一革新成果，它预示着计算机界面操控技术进入一个崭新的交互理解阶段。该模型独特之处在于其深度融合视觉与语义理解能力，不仅能够深入剖析用户界面及各类信息图表的复杂结构，还在解答基于图形数据的问题、高效提炼内容精华以及引导用户实现流畅界面操作等多元任务上取得了突破性进展，树立了全新的性能标准。

ScreenAI的核心创新在于对截图的文本表示方法。该模型能够识别UI元素的类型和位置，这一方法使用了Google LLM PaLM2-S生成的合成训练数据，使其能够回答关于屏幕信息、屏幕导航和总结屏幕内容的问题。

为实现这一创新，ScreenAI将谷歌先前的技术进展，如PaLI架构和Pix2Struct的灵活修补机制，相结合。后者根据宽高比将图形分割为可变网格。ScreenAI通过图像编码器和多模态编码器处理图像和文本输入，然后使用自回归解码器生成文本输出。

研究人员进行的实验证明，模型性能随着模型大小的增加而提高。这表明通过扩大模型规模，可以进一步提升性能。与类似规模的模型相比，ScreenAI在各项基准测试中表现最佳，通常超过更大型模型。此外，使用光学字符识别（OCR）从截图中提取文本内容对模型性能有轻微积极影响。

然而，尽管ScreenAI在数字内容理解方面取得了一定里程碑，但模型尚不能执行生成的操作。研究人员指出，尽管目前有一些在智能手机上运行的语言模型，但缺乏更强大的多模态模型，这些模型可以结合文本、图像、音频和视频。

他们预测，随着像ScreenAI这样的模型的发展，仅使用自然语言对智能手机和用户界面进行自动化处理将在不久的将来变得更加先进。

研究人员强调，虽然他们的专用模型在其类别中是最佳的，但在某些任务上仍需要进一步研究，以缩小与更大型模型（如GPT-4和Gemini）的差距。

为鼓励更多的发展，谷歌研究计划发布ScreenAI的评估数据集，其中ScreenQA已经提供了包含36，000张截图的86，000个问答对；更复杂的变体和包含截图及其文本描述的集合将会推出。

扩 展 阅 读

谷歌安卓16引入“Even Dimmer”功能，亮度调节更进一步

谷歌（Google） 昨天