AI通过视频驱动马斯克/王冰冰图片

同和1

这类算法还是挺有创意的的，可以用在视频伪原创、短视频翻拍等多种场景。

示例动画：

驱动头像

还可以驱动身体

PS：本文将模型训练 100 个 epoch 以进行公平比较。您可以使用更多数据并训练更多 epoch 以获得更好的性能。

安装

我们支持python3。（推荐版本是 Python 3.9）。要安装依赖项，请运行：

pip install -r requirements.txt

YAML 配置

在名为. dataset_ 请参阅以获取每个参数的说明。configconfig/dataset_name.yamlconfig/dataset.yaml

请参阅 中的参数说明config/taichi-256.yaml。

数据集

• . _ 关注猴网。
• TaiChiHD和VoxCeleb。按照video-preprocessing 的说明进行操作。
• TED演讲。遵循MRAA的说明。
  
  

训练

要在特定数据集上训练模型，请运行：

CUDA_VISIBLE_DEVICES=0,1 python run.py --config config/dataset_name.yaml --device_ids 0,1

将创建一个以时间戳命名的日志文件夹。检查点、损失值、重建结果将保存到此文件夹。

训练 AVD 网络

要在特定数据集上训练模型，请运行：

CUDA_VISIBLE_DEVICES=0 python run.py --mode train_avd --checkpoint '{checkpoint_folder}/checkpoint.pth.tar' --config config/dataset_name.yaml

检查点、损失值、重建结果将保存到{checkpoint_folder}.

视频重建评估

要评估重建性能运行：

CUDA_VISIBLE_DEVICES=0 python run.py --mode reconstruction --config config/dataset_name.yaml --checkpoint '{checkpoint_folder}/checkpoint.pth.tar'

子文件夹将reconstruction在{checkpoint_folder}. 生成的视频将存储到此文件夹中，生成的视频也会png以无损“.png”格式存储在子文件夹中以供评估。要计算指标，请遵循[color=var(--color-accent-fg)]pose-evaluation中的说明。

预训练模型

• 清华云
• 谷歌云端硬盘
  

图像动画演示，没有GPU可以使用谷歌的colab，很贴心是不是

• 谷歌 Colab：这里
• notebook: demo.ipynb，编辑配置单元并运行图像动画。
• Python：
  

CUDA_VISIBLE_DEVICES=0 python demo.py --config config/vox-256.yaml --checkpoint checkpoints/vox.pth.tar --source_image ./source.jpg --driving_video ./driving.mp4

来源：https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model