如何在算家云搭建OpenSora 1.2（文本生成视频）
一. OpenSora 1.2简介
1. 技术特点
高清视频生成 ：
- OpenSora 1.2 在 720p 高清文生视频质量和生成时长上取得了突破性进展，支持无缝产出任意风格的高质量短片。
- 通过引入视频压缩网络（VAE）和更优的扩散模型算法，显著提升了视频生成的质量和效率。
视频压缩网络 ：
- OpenSora 团队提出了一个创新的视频压缩网络，该网络在空间和时间两个维度上分别进行压缩。首先在空间维度上进行 8x8 倍的压缩，接着在时间维度上进一步压缩了 4 倍。这种压缩策略既避免了因抽帧而牺牲视频流畅度的弊端，又大幅降低了训练成本。
更优的扩散模型算法 ：
- 基于 Stable Diffusion 3 的研究成果，OpenSora 团队提供了一套完整的训练解决方案，包括简单易用的整流（rectified flow）训练、用于训练加速的 Logit-norm 时间步长采样、基于分辨率和视频长度的时间步长采样等。这些技术的整合不仅加快了模型的训练速度，还显著减少了推理阶段的等待时间。
模型评估体系 ：
- OpenSora 团队构建了更完善的模型评估体系，保障模型的稳健性和泛化能力。他们跟踪了 100 张图像和 1k 个视频的校正流评估损失，并使用 VBench 进行自动视频评估，以监控训练过程和评估模型性能。
2. 应用场景
游戏开发 ：
- 游戏开发者可以使用 OpenSora 生成游戏场景、人物动画等，提升游戏画面表现力。
影视制作 ：
- 电影、电视剧等影视作品的制作人员可以使用 OpenSora 生成各种场景、特效等，为影视作品增添视觉效果。
广告制作 ：
- 广告制作人员可以使用 OpenSora 生成各种场景和动画，提升广告创意和视觉效果。
教育和培训 ：
- OpenSora 可以用于制作教学视频、演示视频等，为用户提供更直观的学习体验。
个人创作 ：
- 个人用户可以使用 OpenSora 制作各种短视频，满足个人创作需求。
3. 其他特性
多语言能力 ：
- OpenSora 1.2 通过用 mT5 替换了 T5，增强了多语言能力，使得模型能够更好地处理不同语言的文本输入。
生成可控性 ：
- 提供了更多的可控性选项，使用户能够根据需要调整生成的视频内容和风格。
支持任意长度和分辨率 ：
- 采用了 bucket 策略，从而支持生成任意长度和分辨率的视频。
4. 模型下载与资源
- 模型下载 ：OpenSora 1.2 的模型可以在 Hugging Face 等平台上免费下载和使用，具体链接如：Huggingface 模型下载。
- 代码资源 ：相关的代码和文档可以在 GitHub 等开源平台上找到，便于开发者进行二次开发和研究。
二、模型搭建流程
下面将以 open sora1.2 项目进行部署，由于模型较大，建议使用 RTX3090 及以上显卡 。
1. 选择主机和镜像
（1）在“租用实例”页面，点击进入应用社区，选择相应的模型
（2）点击“选择”后会自动匹配模型，选择 3090 卡，点击“立即创建”即可创建实例
2. 进入创建的实例
在“项目实例”页面点击对应实例的“Web SSH”操作
以下命令均在该页面进行
（1）打开文档
cd Open-Sora
（2）激活虚拟环境 opensora
conda activate opensora
（3）运行 py 文件
export HF_ENDPOINT=https://hf-mirror.com
python scripts/inference.py configs/opensora-v1-2/inference/sample.py \
--num-frames 4s --resolution 144p \
--layernorm-kernel False --flash-attn False \
--prompt "a beautiful room"
出现以下界面即为运行成功,红框内为保存视频的地址，返回项目实例的文件管理中找到该视频即可播放。
如果想要在网页查看视频，可以通过 python http 服务进行显示,以下示例为监听 8080 端口，继续进行下述操作步骤
cd samples/samples
python -m http.server 8080
3.开启外部访问获取访问链接
返回“项目实例”列表，选择并点击对应实例“开放端口”操作。
可选择”对外开放端口“，实名认证后即可使用。
也可选择”本地私密访问“进行下载解压 ssh 工具，打开得到对应界面，选择对应的项目以及实例开放端口即可。
点击开放端口在浏览器输入 127.0.0.1：8080 即可访问。
打开浏览器输入 127.0.0.1：8080 即可显示运行的视频。
以上就是在算家云搭建OpenSora 1.2的流程，具体使用方式可进入算家云应用社区查看该模型的使用说明。
复制下方网址，进入算家云，选择模型，一键开启 AI 之旅！
算家云应用社区 www.suanjiayun.com/container/#/mirror
