开源视频生成 Pyramid Flow 本地部署实测
前段时间，给微信 AI 小助理-小爱接入了文生视频的能力：
我把「国产Sora」接入了「小爱」，邀你免费体验
采用的是智谱开源的 CogVideo 模型，最近开源社区新出了一款视频生成模型 - pyramid-flow-sd3，社区反馈效果要优于 CogVideo。
今日分享，手把手带大家在本地部署，实测看看是否如宣传一般惊艳。
1. Pyramid Flow 简介
项目地址：https://github.com/jy0205/Pyramid-Flow
老规矩，先来简单介绍下~
Pyramid Flow 有哪些亮点？
- 仅需 2B 参数，可生成768p分辨率、24fps的10秒视频；
- 支持「文本到视频」 和 「图像到视频」 ；
- 自回归生成，基于先前帧来预测生成后续帧，确保视频内容的连贯性和流畅性；
- 金字塔式的多尺度架构，在不同分辨率的潜变量之间进行插值，因此生成效率更高：
官方评测结果：除了semantic score，其它指标均优于开源方案 CogVideo：
2. 在线体验
在线体验地址：https://huggingface.co/spaces/Pyramid-Flow/pyramid-flow
Pyramid Flow 已上线 huggingface，无需本地部署，即刻在线体验！
如无法访问，可参看官方的生成样例：https://pyramid-flow.github.io/
接下来，我们把模型在本地跑起来。
3. 本地部署
3.1 环境准备
首先准备 Pyramid Flow 环境：
git clone https://github.com/jy0205/Pyramid-Flow
cd Pyramid-Flow
conda create -n pyramid python==3.8.10
conda activate pyramid
pip install -r requirements.txt
然后，把模型下载到本地，方便调用：
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download rain1011/pyramid-flow-sd3 --local-dir ckpts/
其中，模型权重包括 768p 和 384p 两种版本。384p版本支持 5 秒长的 24 FPS视频，而 768p 版本则可以生成 10 秒。
3.2 推理测试
首先，加载模型进来：
import os
import torch
from PIL import Image
from pyramid_dit import PyramidDiTForVideoGeneration
from diffusers.utils import export_to_video
os.environ['CUDA_VISIBLE_DEVICES'] = '2'
model = PyramidDiTForVideoGeneration('ckpts/', 'bf16', model_variant='diffusion_transformer_384p')
model.vae.enable_tiling()
# model.vae.to("cuda")
# model.dit.to("cuda")
# model.text_encoder.to("cuda")
# if you're not using sequential offloading bellow uncomment the lines above ^
model.enable_sequential_cpu_offload()
如果把模型都加载进 GPU，至少需要 19G 显存，否则建议采用上述代码！
然后，测试文本生成视频：
def t2v():
prompt = "A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors"
with torch.no_grad(), torch.amp.autocast('cuda', dtype=torch.bfloat16):
frames = model.generate(
prompt=prompt,
num_inference_steps=[20, 20, 20],
video_num_inference_steps=[10, 10, 10],
height=384,
width=640,
temp=16, # temp=16: 5s, temp=31: 10s
guidance_scale=9.0, # The guidance for the first frame, set it to 7 for 384p variant
video_guidance_scale=5.0, # The guidance for the other video latent
output_type="pil",
save_memory=True, # If you have enough GPU memory, set it to `False` to improve vae decoding speed
)
export_to_video(frames, "./text_to_video_sample.mp4", fps=24)
测试图片生成视频：
def i2v():
image = Image.open('assets/the_great_wall.jpg').convert("RGB").resize((640, 384))
prompt = "FPV flying over the Great Wall"
with torch.no_grad(), torch.amp.autocast('cuda', dtype=torch.bfloat16):
frames = model.generate_i2v(
prompt=prompt,
input_image=image,
num_inference_steps=[10, 10, 10],
temp=16,
video_guidance_scale=4.0,
output_type="pil",
save_memory=True, # If you have enough GPU memory, set it to `False` to improve vae decoding speed
)
export_to_video(frames, "./image_to_video_sample.mp4", fps=24)
Pyramid Flow 对显存要求较高，否则生成 5 秒视频，至少 13 分钟：
100%|████| 16/16 [13:11<00:00, 49.45s/it]
生成效果咋样？
pyramid_flow_t2v
实测来看，并未和 CogVideo 拉开差距。。。
写在最后
本文带大家本地部署并实测了最新开源的视频生成模型 - Pyramid Flow。
AI 应用大体可分为：文本、语音、图片、视频，其中语音已被硅基生物攻破。
而 AI 视频生成，从当前效果来看。。。依然任重道远！
如果对你有帮助，欢迎点赞收藏备用。
为方便大家交流，新建了一个 AI 交流群，欢迎感兴趣的小伙伴加入。
最近打造的微信机器人小爱(AI)也在群里，公众号后台「联系我」，拉你进群。