多模态本地部署ConVideoX-5B模型文生视频

一、多模态概念

多模态（Multimodality）指的是集成和处理两种或两种以上不同类型的信息或数据的方法和技术。在人工智能和机器学习领域，多模态涉及的数据类型通常包括但不限于文本、图像、视频、音频和传感器数据。多模态方法的目的是利用不同模态中的互补信息来提升任务的性能，比如提高分类的准确性、增强用户体验或提高决策质量。
以下是多模态在不同领域的一些应用示例：

1.多模态学习

在教育技术中，结合文本、图像和音频可以提供更丰富的学习材料。在自动驾驶汽车中，整合视觉（摄像头）、听觉（声音传感器）和位置（GPS）数据来提高导航和决策能力。

2. 人机交互

智能助手可能需要理解语音命令（音频）、文本消息和用户的面部表情（图像）来提供服务。在虚拟现实（VR）或增强现实（AR）中，用户可以通过多种方式与环境互动，如手势（视觉）、语音（音频）和触觉反馈（传感器数据）。

3. 健康医疗

医生可以同时分析病人的医疗影像（图像）、病历（文本）和生化检验结果（传感器数据）来做出诊断。
在远程医疗中，结合视频通话（视频）、病人的语音描述（音频）和可穿戴设备的数据（传感器数据）可以帮助医生更好地了解病人的状况。

4. 内容创作和娱乐

在电影制作中，结合剧本（文本）、视觉特效（图像/视频）和音效（音频）来创作完整的作品。在游戏开发中，结合故事情节（文本）、游戏画面（图像/视频）和背景音乐（音频）来提供沉浸式体验。多模态方法的挑战包括如何有效地融合不同模态的数据、如何处理不同模态之间的同步问题以及如何设计能够理解和解释多模态信息的算法。随着技术的发展，多模态学习已经成为人工智能领域的一个重要趋势，它有助于创建更加智能和人性化的系统。

二、模型介绍

CogVideoX-5B是由清华大学知识工程组（KEG）开发的一款开源视频生成模型，它基于大规模的文本到视频生成技术，能够根据输入的文本描述生成高质量的视频内容。CogVideoX-5B具有较高的生成质量和视觉效果，适用于需要高质量视频生成的场景。
该模型支持文生视频、图生视频多个能力，可以应用于广告制作、电影剪辑、短视频制作等领域。CogVideoX-5B模型的开源推动了AI视频生成技术的发展，为视频创作开启了新纪元。它还支持多种精度模式（如BF16、FP16等），用户可以根据实际需求选择合适的精度模式，以平衡生成质量和资源消耗。
CogVideoX-5B模型在准确率方面表现出色，生成的视频内容与输入文本描述高度匹配。在速度方面，CogVideoX-5B在单GPU环境下表现良好，尤其是在使用BF16精度时，推理速度较快。资源消耗方面，CogVideoX-5B在单GPU环境下需要至少5GB的显存，适合中高端GPU设备。
此外，CogVideoX-5B模型已经在智谱清言的PC端、移动应用端以及小程序端正式上线，所有C端用户均可通过智谱清言的AI视频生成功能“清影”体验AI 文本生成视频和图像生成视频的服务。CogVideoX-5B的应用场景涵盖了视频创作、广告制作、虚拟现实内容生成等多个领域。

三、环境安装

1. 安装工具包

# diffusers>=0.30.3
# transformers>=0.44.2
# accelerate>=0.34.0
# imageio-ffmpeg>=0.5.1
pip install --upgrade transformers accelerate diffusers imageio-ffmpeg 

2. 模型下载

git clone下面地址即可

root@dsw-850676-5695779c96-24rhj:/mnt/workspace# git clone https://www.modelscope.cn./ZhipuAI/CogVideoX-5b.git
正克隆到 'CogVideoX-5b'...
remote: Enumerating objects: 96, done.
remote: Total 96 (delta 0), reused 0 (delta 0), pack-reused 96
接收对象中: 100% (96/96), 40.08 KiB | 631.00 KiB/s, 完成.
处理 delta 中: 100% (48/48), 完成.
过滤内容: 100% (6/6), 3.64 GiB | 27.29 MiB/s, 完成.
root@dsw-850676-5695779c96-24rhj:/mnt/workspace# 

下载完成后，可以查看模型大小

root@dsw-850676-5695779c96-24rhj:/mnt/workspace/CogVideoX-5b# ls
configuration.json  LICENSE  model_index.json  README_en.md  README.md  scheduler  text_encoder  tokenizer  transformer  vae
root@dsw-850676-5695779c96-24rhj:/mnt/workspace/CogVideoX-5b# du -sh *
4.0K    configuration.json
8.0K    LICENSE
4.0K    model_index.json
20K     README_en.md
20K     README.md
4.5K    scheduler
8.9G    text_encoder
809K    tokenizer
11G     transformer
412M    vae

四、运行代码

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."

pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-5b",
    torch_dtype=torch.bfloat16
)

pipe.enable_sequential_cpu_offload()
pipe.vae.enable_tiling()
pipe.vae.enable_slicing()

video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

目前这个模型只支持英文，可以中文写好使用翻译工具。

五、代码解析

enable_sequential_cpu_offload()：启用顺序CPU卸载，可能用于在CPU和GPU之间分配计算任务以提高效率。
vae.enable_tiling()：启用分块处理，用于处理大尺寸输入。
vae.enable_slicing()：启用切片处理，用于并行处理或减少内存占用。
prompt=prompt：生成视频的文本提示。
num_videos_per_prompt=1：对于每个提示，生成一个视频，设置几个生成几个，设置越多时间也越长。
num_inference_steps=50：推理步骤的数量，影响生成视频的质量或细节，越大效果越好，但是花费时间也越长。
num_frames=49：生成的视频包含49帧，这个是整个视频的总帧数。其中第一帧为起始，总共是6秒的视频，所以每帧包含8张图片。
guidance_scale=6：指导比例，用于控制生成过程中对提示的遵循程度，这个默认就可以了。
generator=torch.Generator(device=“cuda”).manual_seed(42)：设置随机数生成器，指定设备为CUDA（通常用于GPU加速），并手动设置种子为42，以确保结果的可重复性。这个也是默认
frames[0]：从生成的视频帧中选择第一帧。

六、效果生成

运行刚才脚本程序，5分钟时间可以看到有个output.mp4文件生成。

打开视频

感兴趣可以查看视频效果
链接: 生成视频效果

七. 总结

本地部署多模态视频生成模型CogVideoX-5B，本文对于涉及的以下几个方面进行补充和总结。

1. 模型介绍

CogVideoX-5B是一个视频生成模型，它能够根据文本描述生成视频内容。该模型支持多种精度模式，如BF16、FP16等，用户可以根据实际需求选择合适的精度模式，以平衡生成质量和资源消耗。

2. 部署环境

部署CogVideoX-5B模型需要考虑硬件资源，如GPU显存。例如，使用SAT BF16精度时，单GPU显存消耗约为26GB。因此，在部署前需要确保有足够的硬件资源。

3. 部署步骤

加载模型：首先需要加载CogVideoX-5B模型，这可能涉及到从预训练模型中加载参数。
启用优化：为了提高效率，可以启用一些优化技术，如enable_sequential_cpu_offload()、vae.enable_tiling()和vae.enable_slicing()等。
生成视频：使用模型的generate方法根据文本提示生成视频。可以设置一些参数，如num_inference_steps、guidance_scale等，来控制生成过程。

4. 生成视频

CogVideoX-5B模型支持文生视频和图生视频的能力。生成的视频内容与输入文本描述高度匹配，且在速度和资源消耗方面表现良好。

5. 应用场景

CogVideoX-5B模型的应用场景广泛，包括视频创作、广告制作、虚拟现实内容生成等。
总结来说，本地部署CogVideoX-5B模型需要考虑硬件资源、部署环境和步骤。通过合理配置和优化，CogVideoX-5B模型能够生成高质量的视频内容，适用于多种应用场景。