背后支持虚拟数字人的“神秘力量”,其实是飞桨PaddlePaddle强大的开源生态和AI能力。
PaddleSpeech将文字转换成语音,让虚拟数字人有了自己的声音。
PaddleGAN的人脸生成赋予了虚拟数字人一张可爱的脸蛋,表情迁移、唇形合成(同步)模型驱动虚拟数字人的脸部活动,让虚拟人更加栩栩如生。
目前PaddleHub已经把以上模型纳入了模型库当中,现在只需要简单的十几行代码调用模型,输入图片和文字,即可生成一个生动形象的虚拟数字人。
技术原理:
实现虚拟数字人生成总共需要调用三个模型,分别是First Order Motion(表情迁移)、Text to Speech(文本转语音)和Wav2Lip(唇形合成)。
具体技术步骤如下:
来源:https://aistudio.baidu.com/aistudio/projectdetail/3345856