6月21日消息,快手公司旗下的可灵平台宣布正式推出两大创新功能——“图生视频”与“视频续写”。这两项新功能的加入,为用户提供了更为丰富的视频创作工具,进一步提升了快手在AI视频生成领域的竞争力。
图生视频功能,支持将静态图像转化为 5 秒钟视频,用户可通过提示词文本控制图像中物体的运动;视频续写功能,支持对生成视频一键续写和连续多次续写,最长可生成约 3 分钟视频;此外文生视频新增 9:16 和 1:1 视频尺寸选择。
可灵是由快手自研打造的视频生成大模型,能够生成大幅度的合理运动,模拟物理世界特性。
可灵使用了 DiT 架构,快手对模型中的隐空间编 / 解码、时序建模等模块进行了升维处理。
在隐空间编 / 解码上,快手自研了 3D VAE 网络,实现时空同步压缩,获得了较高的重建质量,在训练性能和效果之间取得了平衡。在时序信息建模上,快手设计了一款全注意力机制作为时空建模模块。
文明上网,理性发言,共同做网络文明传播者