闲聊从零开发一个2D数字人流程实战
- .2D数字人技术
- 百度，腾讯，等大厂都有自己的数字平台制作（套壳：api+后台转发+vue前端），国外也有出名的heygen（非常厉害一个）
- 通过开源项目组合实现，再打通每个项目已api的形式提供调用。
- 对口型
- 不对口型
- 组合形式（ai 项目总结）
- 素材准备
a.1张图片或者自己拍摄一个短10秒钟视频（图片效果肯定没有视频好）
b.全新制作一个不存在现实的数字人（制作）
2.全新数字人形象制作。
（1）技术软件：Stable_Diffusion或者Fooocus
选择：Fooocus （对标sd，使用简单，对机器要求不高！）
GitHub - lllyasviel/Fooocus: Focus on prompting and generating
提示词:Beautiful girl with a clear front and face
获得一张形象图片保存好。
Ai软件安装流程大多（每个人遇到问题都可能不一样，使用系统不一样）：
conda create -n 名称xx python=xxx
conda activate 名称xx
安装torch touchversion 这里要注意电脑有cuda的可以到
Start Locally | PyTorch 上下载对应的torch 安装 例如下面：pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
安装环境: pip isntall -r requirements.txt
遇到问题：
0.先到项目git的Issues上面查找，一般都能找到。
1.GPT等工具查找问题
2.google或者百度
3.技术群询问
- .10秒视频准备。
- 可以自己拍摄（必须是脸部清晰）
- 去网站上面找，这里就找了韩国美女。
- .换脸:把之前虚拟图片脸换到视频上
技术选型：facefusion
GitHub - facefusion/facefusion: Next generation face swapper and enhancer
- .高清修复。
技术选型:CodeFormer
GitHub - sczhou/CodeFormer: [NeurIPS 2022] Towards Robust Blind Face Restoration with Codebook Lookup Transformer
- 剪影工具裁剪出稳定脸部清晰的2到3帧再拼接成10秒视频，需要注意就是拼接时候要反向合并视频。
- 语音克隆。
技术选型有2种，
- GitHub - Plachtaa/VITS-fast-fine-tuning: This repo is a pipeline of VITS finetuning for fast speaker adaptation TTS, and many-to-many voice conversion
- https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI
选择：RVC 原因就是效果比较好，这样需要知道就是现在语音克隆有两种在底模训练好情况下：
一种是Text-to-speed 也就是文字到语音，测试下来效果不太稳定，10句同样文字输出速率都有可能不一样！
第二种RVC，speed-to-speed 语音到语音，比较稳，但是这里就要多做一步文字转语音再转，这里推荐使用微软免费tts,多国语言选择参考:https://github.com/rany2/edge-tts
pip install edge-tts
edge-tts --voice zh-CN-YunxiNeural --rate=-4% --text "hello 大家好" --write-media hello1.mp3
速度其实和第一种区别不大，RVC转换很快。
- 对口型video-retalking。
GitHub - OpenTalker/video-retalking: [SIGGRAPH Asia 2022] VideoReTalking: Audio-based Lip Synchronization for Talking Head Video Editing In the Wild
- 通过上面的项目进行串联使用api形式进行调用（暂无）。
输入文字=》tts==>RVC ==>video-retalking==>视频