ubuntu 系统部署 Stable Video Diffusion
11月21日，stability.ai 发布了生成式视频模型 Stable Video Diffusion（SVD） 。
- 官方博客链接：Introducing Stable Video Diffusion — Stability AI
- git地址：GitHub - Stability-AI/generative-models: Generative Models by Stability AI
下面把在本地部署和使用SVD的过程记录下来。
- 系统：Ubuntu 20.04.5 LTS
- 方式：ComfyUI（是一个强大且模块化的stable diffusion图形用户界面，它采用图/节点/流程图界面，让用户可以设计和执行高级stable diffusion管道，而无需编写任何代码。比Stable Diffusion WebUI的控制力更强一些，使用也更复杂一点。）
安装python3.10
用其他版本可能后续会出现不兼容，我实际就用3.11出现了不兼容。
实测比较适用的python升级方式，记得安装虚拟环境Upgrade Python to latest version (3.12) on Ubuntu Linux or WSL2
- 尽量不要卸载ubuntu系统原来的python，也不要改python3的软链接
- 不要用下载源码编译的方式升级python
安装ComfyUI
git地址，readme中有详细的Installing模块，参考其安装：GitHub - comfyanonymous/ComfyUI: The most powerful and modular stable diffusion GUI with a graph/nodes interface.
- git clone
- 在models/checkpoints下面放上模型文件（比较大的ckpt/safetensors文件）svd_xt.safetensors 文件，9.56G，https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/tree/main3
- 在ComfyUI下创建python3.10的虚拟环境
-
cd ComfyUI python3.10 -m venv myEnv source myEnv/bin/activate
-
- 执行 readme “Manual Install (Windows, Linux)” 下面的安装命令
- 启动：python main.py，此时能看到ComfyUI的操作界面。
使用SVD example
样例地址：
-
- Video Examples | ComfyUI_examples
尝试Image to Video
- 在ComfyUI界面点击Clear，删掉默认的流程图
- 把草地雪山的动图右键另存为保存下来
- 把保存下来的图片文件拖到ComfyUI界面里，就能看到流程图了
- 选择模型
- 设置大小及其他参数
- 开始运行 Queue Prompt
- 流程图上有进度显示，很快会有一个类似样例的动图出现，至此部署成功