试试SV4D(Stable Video 4D):
SV4D(Stable Video 4D)是一个创新的动态 3D 内容生成模型,它通过一个统一的扩散模型同时处理视频生成和新视角合成,而不是像以往方法那样使用分别训练的生成模型。
该模型能够接受单目视频作为参考,并为每个视频帧生成时间一致的新视角视频。
此外,SV4D 还能够有效地优化隐式 4D 表示(动态 NeRF),而不需要依赖于大多数先前工作中使用的繁琐的 SDS(Score Distillation Sampling)优化方法。
为了训练这个统一的新视角视频生成模型,研究者们从现有的 Objaverse 数据集中筛选出动态 3D 对象数据集。
在多个数据集和用户研究上的广泛实验结果表明,SV4D 在新视角视频合成以及 4D 生成方面,与先前的工作相比,具有尖端的性能。
https://sv4d.github.io/
网友回复