浅谈人工智能之基于容器云进行文生图大模型搭建

浅谈人工智能之基于容器云进行文生图大模型搭建

引言

随着深度学习技术的不断发展，文生图（Text-to-Image）大模型成为了计算机视觉和自然语言处理领域的一个研究热点。文生图模型可以根据输入的文本描述生成高质量的图像，广泛应用于艺术创作、广告设计、虚拟现实等领域。本文将介绍如何搭建一个基于iic/cv_cartoon_stable_diffusion_design的文生图大模型。

模型效果展示

我们首先看一下我们对搭建好的模型的效果进行展示，我们的提示词如下：

a beautiful girl with sun glasses

我们得到的图片结果如下：

环境搭建

基于上述结果以后，我们就可以开始进行文生图环境搭建。
第一步：模型克隆

git clone https://www.modelscope.cn/iic/cv_cartoon_stable_diffusion_design.git

第二步：依赖包下载

pip install opencv-python
pip install modelscope
pip install packaging
pip install addict
pip install oss2

第三步：下载依赖包datasets，但是这里会有版本的限制，如果我们直接通过pip install datasets安装，我们会出现以下报错内容

from datasets.utils.file_utils import (OfflineModeIsEnabled,
ImportError: cannot import name ‘OfflineModeIsEnabled’ from ‘datasets.utils.file_utils’

因此我们需要指定版本：pip install datasets==2.16.0
第四步：继续安装其他依赖

pip install torch
pip install pillow
pip install simplejson
pip install sortedcontainers
pip install diffusers
pip install torchvision
pip install transformers

第五步：编写应用代码

import cv2
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

pipe = pipeline(Tasks.text_to_image_synthesis, model='damo/cv_cartoon_stable_diffusion_design', model_revision='v1.0.0')
output = pipe({'text': 'a beautiful girl with sun glasses'})
cv2.imwrite('result.png', output['output_imgs'][0])
print('Image saved to outImage.png')

至此，整个环境搭建完成。