3 月 19 日消息,谷歌在开源平台GitHub上披露VLOGGER AI技术新进展,该创新模型能够将用户上传的一张静态肖像照片与任意指定的音频叙述相结合,通过深度学习算法与高清渲染技术的精密融合,使原本静止的人物形象瞬间变得鲜活生动,仿佛穿越平面界限,栩栩如生地进行音容兼备的演绎表达。
VLOGGER AI 是一种适用于虚拟肖像的多模态 Diffusion 模型,使用 MENTOR 数据库进行训练,该数据库中包含超过 80 万名人物肖像,以及累计超过 2200 小时的影片,从而让 VLOGGER 生成不同种族、不同年龄、不同穿着、不同姿势的肖像影片。
研究人员表示:“和此前的多模态相比,VLOGGER 的优势在于不需要对每个人进行训练,不依赖于人脸检测和裁剪,可以生成完整的图像(而不仅仅是人脸或嘴唇),并且考虑了广泛的场景(例如可见躯干或不同的主体身份),这些对于正确合成交流的人类至关重要”。
Google 将 VLOGGER 视为迈向“通用聊天机器人”的一步,之后 AI 就可以通过语音、手势和眼神交流以自然的方式与人类互动。
VLOGGER 的应用场景还包括可以用于报告、教育场域和旁白等,也可剪辑既有的影片,如果对影片中的表情不满意就能加以调整。
文明上网,理性发言,共同做网络文明传播者