资讯
4月15日消息，Meta携手慕尼黑工大共创ViewDiff模型，赋能用户以文本、图像或两者交融的方式，顷刻间构建出高清立体的多视角三维景象。
该模型解决了传统文本生成多视角3D 图像领域的三大难点：无法生成真实背景环境、图像质量和多样性不理想、缺乏多视角和一致性。通过引入一种创新架构，ViewDiff 采用文生成图模型作为先验知识和图像流生成器，再通过显式的3D 建模为图像赋予一致性和多视角能力。
为了有效捕获3D 几何和全局风格，研究人员对原有 U-Net 架构进行了创新，增强了跨帧注意力层和投影层。跨帧注意力层替换了标准自注意力层，实现跨图像风格匹配；而投影层将多视图2D 特征集成为显式的3D 体素特征，保证了输出图像的3D 几何一致性。在此基础上，ViewDiff 还开发了自回归生成模块，使其能在任意视角上生成更多的3D 一致性图像，进一步提升了模型的生成能力。
该研究的推出填补了文本生成多视角3D 图像领域的技术空白，有望为游戏开发、元宇宙等行业提供更便捷、高效的模型构建方案。该模型的推出不仅在技术层面上具有重大意义，也将为未来的3D 图像生成领域带来更多创新可能。
文明上网，理性发言，共同做网络文明传播者