V-Express - 一款针对人像视频生成的开源软件

V-Express是腾讯AI Lab开发的一款针对人像视频生成的开源软件。它旨在通过条件性丢弃（Conditional Dropout）技术，实现渐进式训练，以改善使用单一图像生成人像视频时的控制信号平衡问题。 在生成过程中，不同的控制信号（如文本、音频、图像参考、姿势、深度图等）的强度差异会影响生成效果，尤其是音频信号往往较弱，容易被较强的信号（如姿势和原始图像）所掩盖。 V-Express通过一系列渐进式丢弃操作来平衡不同控制信号，使弱条件信号也能在生成过程中发挥有效作用。

2200 Stars 275 Forks 33 Issues 12 贡献者 MIT License Python 语言

代码: GitHub - tencent-ailab/V-Express: V-Express aims to generate a talking head video under the control of a reference image, an audio, and a sequence of V-Kps images.

更多AI开源软件：AI开源 - 小众AI

​

​

主要功能：

• **多条件控制**：支持通过姿势、输入图像和音频等多种控制信号来生成人像视频，同时平衡这些信号的强弱，确保生成视频的自然性和一致性。
• **音频驱动口型生成**：特别针对音频信号进行了优化，能够生成与音频内容相匹配的生动口型动作。
• **长视频生成支持**：通过优化内存使用，支持生成更长的视频，满足用户对长时段视频生成的需求。

开始使用

• **安装步骤**：

  • **下载代码**：使用git clone​命令下载V-Express的代码库。
  • **安装依赖**：进入V-Express目录，通过pip install -r requirements.txt​安装所需的依赖包。
  • **下载模型**：通过Git LFS和Hugging Face Hub下载V-Express的预训练模型。

• **使用方法**：

  • **准备输入**：准备好参考图像、音频文件和关键点序列（如果已有）。
  • **运行脚本**：使用python inference.py​命令，并指定相应的输入路径和输出路径，以及可选的参数和策略。
  • **调整参数**：可以根据需要调整reference_attention_weight​和audio_attention_weight​等参数，以获得不同的生成效果。
  • **生成视频**：执行脚本后，V-Express将生成并保存指定的视频文件。