SadTalker模型部署教程
一、介绍
SadTalker模型是一个基于深度学习的开源模型,主要是用于根据图片和音频文件自动生成人物说话的动画视频。该模型通过接收一张图片和一段音频文件,能够自动生成包含人脸动作(如张嘴、眨眼、移动头部等)的说话动画视频。
二、部署过程
环境配置要求:
系统:Ubuntu20.4系统,
显卡:RTX 3060 12G,
CUDA: 11.3 ,
miniconda3
1.模型下载
下载SadTalker模型,输入下列指令:
git clone https://gitclone.com/github.com/OpenTalker/SadTalker.git
2.创建虚拟Python环境
首先使用命令进入SadTalker:
cd SadTalker
使用下列命令创建名称为sadtalker,python版本号为3.8的虚拟环境
conda create -n sadtalker python=3.8
3.进入虚拟环境
使用下列命令进入:
conda activate sadtalker
4.下载依赖包
使用下列命令:
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
conda install ffmpeg
pip install -r requirements.txt
5.下载模型权重文件
使用下列命令进行下载:
bash scripts/download_models.sh
三、启动界面
gradio界面:(推荐)
python app_sadtalker.py
Linux/Mac OS:
bash webui.sh
1.报错解决
当下载出现“tb-nightly”报错,使用下列命令:
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple
下载完成后再重新安装requirements
pip install -r requirements.txt