试试SV4D(Stable Video 4D):
SV4D(Stable Video 4D)是一个创新的动态 3D 内容生成模型,它通过一个统一的扩散模型同时处理视频生成和新视角合成,而不是像以往方法那样使用分别训练的生成模型。
该模型能够接受单目视频作为参考,并为每个视频帧生成时间一致的新视角视频。
此外,SV4D 还能够有效地优化隐式 4D 表示(动态 NeRF),而不需要依赖于大多数先前工作中使用的繁琐的 SDS(Score Distillation Sampling)优化方法。
为了训练这个统一的新视角视频生成模型,研究者们从现有的 Objaverse 数据集中筛选出动态 3D 对象数据集。
在多个数据集和用户研究上的广泛实验结果表明,SV4D 在新视角视频合成以及 4D 生成方面,与先前的工作相比,具有尖端的性能。
https://sv4d.github.io/
网友回复
腾讯混元模型广场里都是混元模型的垂直小模型,如何api调用?
为啥所有的照片分辨率提升工具都会修改照片上的图案细节?
js如何在浏览器中将webm视频的声音分离为单独音频?
微信小程序如何播放第三方域名url的mp4视频?
ai多模态大模型能实时识别视频中的手语为文字吗?
如何远程调试别人的chrome浏览器获取调试信息?
为啥js打开新网页window.open设置窗口宽高无效?
浏览器中js的navigator.mediaDevices.getDisplayMedia屏幕录像无法录制SpeechSynthesisUtterance产生的说话声音?
js中mediaRecorder如何录制window.speechSynthesis声音音频并下载?
python如何直接获取抖音短视频的音频文件url?