14、deepseek视觉大模型Janus Pro本地部署及实战
1、简介
2025.01.27： Janus-Pro发布，Janus的高级版本，显著提高了多模态理解和视觉生成。
Janus-Pro 是 Janus 的高级版本。具体来说， Janus-Pro 包括以下改进：优化的训练策略、 扩展的训练数据以及更大规模的模型。通过这些改进， Janus-Pro 在多模态理解和文本生成图像的指令跟 随能力上取得了显著进步，同时还提升了文本生成图像的稳定性。
git连接
Janus 是一种新颖的自回归框架，它统一了多模态理解和生成。它通过将视觉编码解耦为单独的路径来解决以前方法的局限性，同时仍然使用单一、统一的 transformer 架构进行处理。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，也增强了框架的灵活性。Janus 超越了以前的统一模型，并达到或超过特定于任务的模型的性能。Janus 的简单性、高度灵活性和有效性使其成为下一代统一多模态模型的有力候选者。
Janus模型运行硬件要求，Janus Pro对硬件要求较低，以下是1B模型和7B模型运行的GPU显存占用情况：
| 任务类型 | Janus-Pro-1B | Janus-Pro-7B |
|---|---|---|
| 图像识别 | 5G | 15G |
| 图片生成 | 14G | 40G |
2、安装
2.1 下载源码文件
上传服务器解压
2.2 虚拟环境创建
conda create -n janus python=3.9 -y
激活环境
conda init
source ~/.bashrc
conda activate janus
安装依赖
cd /Janus-main pip install -e
3、下载模型文件
考虑到国 内网络环境，这里推荐直接在Modelscope上进行模型权重下载。
- Janus-Pro-1B模型权重： https://www.modelscope.cn/models/deepseek-ai/Janus-Pro-1B
- Janus-Pro-7B模型权重： https://www.modelscope.cn/models/deepseek-ai/Janus-Pro-7B
安装modelscope
pip install modelscope
创建文件夹
cd Janus-main
mkdir ./Janus-Pro-1B
mkdir ./Janus-Pro-7B
# 下载1B模型
modelscope download --model deepseek-ai/Janus-Pro-1B --local_dir ./Janus-Pro-1B
# 下载7B模型
modelscope download --model deepseek-ai/Janus-Pro-7B --local_dir ./Janus-Pro-7B
4、 Gradio前端调用方法
此外，Janus项目中还提供了前端调用脚本，我们可以按照如下流程开启前端并与Janus进行对话。
安装相关依赖
pip install -e .[gradio]
修改模型调用的本地地址
python demo/app_januspro.py
运行完成
会生成一个公网可访问的地址。
5、简单测试
5.1 图生文
显存占用（7B）
效果
5.2 文生图
显存占用
效果查看
英文的提示词效果会好一些