3月7日,阿里巴巴科研团队揭晓了其最新的技术创新——AtomoVideo高精度图像转视频解决方案,该框架致力于将单一静态图片转化为流畅且高质量的动态视频场景,并特别设计以无缝对接多种基于文本生成图像(T2I)技术的模型,展现强大兼容性与整合能力。
总结 AtomoVideo 特性如下:
高保真度:生成的视频与输入图像在细节与风格上保持高度一致性
运动一致性:视频动作流畅,确保时间上的一致性,不会出现突兀的跳转
视频帧预测:通过迭代预测后续帧的方式,支持长视频序列的生成
兼容性:与现有的多种文生图(T2I)模型兼容
高语义可控性:能够根据用户的特定需求生成定制化的视频内容
AtomoVideo 使用预先训练好的 T2I 模型为基础,在每个空间卷积层和注意力层之后新添加一维时空卷积和注意力模块,T2I 模型参数固定,只训练添加的时空层。由于输入的串联图像信息仅由 VAE 编码,代表的是低层次信息,有助于增强视频相对于输入图像的保真度。
同时,团队还以 Cross-Attention 的形式注入高级图像语义,以实现更高的图像语义可控性。
目前,该团队只发布了 AtomoVideo 的论文及演示视频,并未提供在线体验地址。同时官方开设了 GitHub 账户,但仅用作官方网站托管,并未上传任何相关代码。
文明上网,理性发言,共同做网络文明传播者