【文件属性】:
文件名称:Talking-head-Generation-with-Rhythmic-Head-Motion
文件大小:90.29MB
文件格式:ZIP
更新时间:2021-04-23 09:18:18
Python
有节奏的头部动作产生说话的头部(ECCV 2020)
Pytorch实施,用于音频驱动的谈话头视频合成。 给定一个输入的采样视频帧和一个驱动音频,我们的模型利用3D面部生成过程来生成一个说音频的头部。 此外,我们的模型实现了可控的头部运动以及面部表情,从而产生了更加逼真的头戴式视频。 我们基于编码框架实现该模型。
在VoxCeleb2和结果唇读,在最狂野的数据集
代码实施
在本节中,我们将介绍如何实现我们的方法。 包括要求,数据集,培训和测试。
预先要求
我们使用NVIDIA GPU和CUDA在Linux系统中运行代码。 要运行代码,请准备:
的Python 3
火炬1.3
脾气暴躁的
dlib
支配
数据集
我们在四个数据集 , , , 数据集中训练和测试模型。
对于每个这些数据集,我们生成地标,3D面部框架并计算每个目标框架的旋转。 预处理代码将很快发布。
训练
在我们