6月7日消息,Chrome开发团队对外披露了一项重大创新探索——“内置AI”计划,旨在将先进的人工智能模型直接整合进浏览器核心,赋能浏览器功能及网络平台API,实现终端设备上的无缝AI体验,此举或将重新定义用户与网络互动的方式。
官方介绍称,借助内置 AI,您的网站或 Web 应用将能够针对基础模型和专家模型运行各种 AI 任务,而无需担心部署和管理上述模型。特别是,Chrome将推出 Gemini Nano,这是 Gemini 模型系列中最小的版本,可在大多数配备 Chrome 的现代台式机和笔记本电脑上本地运行。
据了解,最新的 Chrome 已经内测内置了 Gemini Nano 大语言模型(4bit3.25B),可以用来做摘要、翻译、写作等任务,并且可以完全本地运行,离线免费。加入早期预览版计划,体验处于早期阶段的内置 AI API
内置 AI 为 Web 开发者带来的好处
与在设备端 AI 中自行构建模型相比,内置 AI 具有以下优势:
易于部署:浏览器分发模型时,会考虑设备功能并管理模型的更新。这意味着,您无需负责通过网络下载或更新大型模型。您无需解决存储空间逐出、运行时内存预算、传送费用和其他难题。
使用硬件加速功能:浏览器的 AI 运行时经过优化,可以充分利用可用的硬件,无论是 GPU、NPU 还是回退到 CPU。因此,您的应用可以在每台设备上获得最佳性能。
在设备上运行的好处
使用内置 AI 方法,在设备上执行 AI 任务变得轻而易举,这反过来又具有以下优势:
本地处理敏感数据:设备端 AI 可以改进您的隐私保护故事。例如,如果您处理敏感数据,则可以通过端到端加密为用户提供 AI 功能。
流畅的用户体验:在某些情况下,无需往返于服务器,意味着您可以提供近乎即时的结果。设备端 AI 可能是可行功能与次优用户体验之间的区别。
对 AI 的访问权限更高:用户的设备可以承担一些处理负载,以换取对功能的更多访问权限。例如,如果您提供高级 AI 功能,则可以使用设备端 AI 来预览这些功能,以便潜在客户可以看到您产品的优势,而无需支付额外费用。这种混合方法还可以帮助您管理推断费用,尤其是针对常用用户流的推断费用。
离线使用 AI:即使没有互联网连接,您的用户也可以使用 AI 功能。这意味着您的网站和 Web 应用可以离线使用或采用可变连接方式,按预期运行。
文明上网,理性发言,共同做网络文明传播者