资讯
近日，北京智源人工智能研究院（BAAI）隆重推出创新的3D生成模型See3D，该模型具备从大规模无标注互联网视频中学习的能力，引领“See Video， Get3D”理念的重要进展。
See3D通过独特的视觉条件技术，摒弃了传统相机参数的依赖，仅依据视频中的视觉线索即可生成具有可控相机方向和几何一致性的多视角图像。这一方法显著降低了昂贵的3D或相机标注需求，实现了从互联网视频中高效学习3D先验知识的突破。
See3D模型支持从文本、单视图和稀疏视图到3D的生成，并能够进行3D编辑与高斯渲染。该模型、代码和Demo已经开源，供更多的技术细节参考。See3D的效果展示包括解锁3D互动世界、基于稀疏图片的3D重建、开放世界3D生成和基于单视图的3D生成。这些功能使得See3D在多种3D创作应用中展现出广泛的适用性。
研究动机源于3D数据的局限性，传统的3D数据采集过程耗时且成本高昂，而视频则因其包含多视角关联性和相机运动信息，成为揭示3D结构的有力工具。See3D提出的解决方案包括数据集构建、模型训练和3D生成框架。团队自动筛选视频数据，构建了涵盖1600万视频片段、3.2亿帧图像的WebVi3D数据集。See3D模型通过向掩码视频数据添加时间依赖噪声，生成纯粹的2D视觉信号，支持可扩展的多视图扩散模型训练，实现了无需相机条件的3D生成。
See3D的优势在于数据扩展性、相机可控性和几何一致性。其训练数据源自海量互联网视频，构建的多视图数据集在规模上实现了数量级的提升。模型支持在任意复杂的相机轨迹下的场景生成，并保持前后帧视图的几何一致性。
通过扩大数据集规模，See3D为3D生成技术的发展提供了新的思路，希望这项工作能够促进3D研究社区对大规模无相机标注数据的关注，降低3D数据采集的成本，并缩小与现有闭源3D解决方案之间的差距。
文明上网，理性发言，共同做网络文明传播者