回答-BFW问答

可以试试这个开源项目：live speech portraits real-time photo realistic talking-head animation（现场演讲肖像：实时逼真的谈话头像动画）。

该系统仅由超过 30 fps 的音频信号驱动，生成个性化的、逼真的说话头动画。我们的系统包含三个阶段。第一阶段是深度神经网络，提取深度音频特征以及流形投影，将特征投影到目标人的语音空间。在第二阶段，我们从投影的音频特征中学习面部动态和动作。预测的运动包括头部姿势和上身运动，其中前者由自回归概率模型生成，该模型模拟目标人物的头部姿势分布。上半身运动是从头部姿势推断出来的。在最后阶段，我们根据之前的预测生成条件特征图，并将它们与候选图像集一起发送到图像到图像的转换网络，以合成逼真的渲染。我们的方法可以很好地泛化到野外音频并成功合成高保真个性化面部细节，例如皱纹、牙齿。我们的方法还允许明确控制头部姿势。广泛的定性和定量评估以及用户研究证明了我们的方法优于最先进技术。