【Stable Diffusion】ControlNet基本教程(三)
接上篇【Stable Diffusion】ControlNet基本教程(二),本篇再介绍两个ControlNet常见的基本用法,更多用法欢迎关注博主,博主还会更新更多有趣的内容。
3.3更换物体皮肤
有时,我们不想改变物体的轮廓,只想改变物体表面的皮肤,例如,同一种鞋型,我们让它生成不同的鞋子表面的样式
(1)在“图生图(img2img)”中上传(Drop Image Here or Click to Upload)需要更换“皮肤”的 物体图片
(2)在ControlNet中上传同一张需要处理的图像(Drop Image Here or Click to Upload)
(3)启用ControlNet,在“预处理(Preprocessor)”中选择“canny”或“hed”或“pidinet”,在“模型(Model)”中选择对应的“control_canny”或“control_hed”,值得注意的是在“预处理(Preprocessor)”选择“pidinet”,在“模型(Model)”对应的也是“control_hed”,这三种处理方式,都是对图像的边缘进行检测,根据自己的需求进行选择,可以在下方的“预处理分辨率(Annotator Resolution)”如果选择“hed”,就是“HED Resolution”,作用都是一样的,调节边缘线条,可以点击下方的“预览预处理结果(Preview Annotator Result)”对预处理后的效果进行观察,判断是否做进一步调整,调节参数的位置如图:
调节后效果实例:
(4)选择大模型,不同的大模型显示的图像效果不同,可以多试验几个,这里我使用“chilloutmix_NiPrunedFp32Fix”来试验
(5)输入Prompt和Negative prompt词,根据你的需要来输入,比如,你想要“一双蓝色的潮流鞋子”,就可以输入“blue fashionable shoes”,当然,你也可以根据你的需求输入其他的描述词,鞋带的颜色,鞋面有没有涂鸦等等。
(6)如果有其他需要,还可以配合lora等使用
效果如下:
(大模型:chilloutmix_NiPrunedFp32Fix
描述词:masterpiece, best quality, design sense, blue fashionable shoes)
(大模型:chilloutmix_NiPrunedFp32Fix
描述词:masterpiece, best quality, design sense, green fashionable shoes)
效果还是蛮不错的!设计师的灵感库、淘宝商家的福音!
3.5室外风景生成
我们想要用特定的颜色随便涂抹几笔就能生成一张好看的风景图片,使用ControlNet的语义分割模型就能实现
(1)使用特定的颜色进行涂抹创作,因为ControlNet使用的模型为ADE20K,颜色所代表的元素对应如下:
或者使用一张真实的风景图片,先进行语义分割,再做进一步处理,值得注意的是,在ControlNet中使用预处理选择segmentation,模型选择control_seg也可以将进行语义分割,但速度相对较慢,效果也不是太好,这里推荐使用:https://huggingface.co/spaces/shi-labs/OneFormer。打开之后:
如果有兴趣对语义分割以及其他计算机视觉的内容感兴趣,博主将会专门出博文讲一下
这里得到一张语义分割图像:
(2)在ControlNet中点击启用,上传语义分割图像,在预处理中选择None,在模型中选择control_seg,在Prompt和Negative prompt中加入一些描述词,再选择大模型,有兴趣还可以加入lora,以及其他一些模型、参数,就可以生成室外风景图像了。
图像示例:
(大模型:realisticVisionV13_v13
描述词:masterpiece, best quality, landscape,morden house, ,scenery, photorealistic, realistic)
(大模型:chilloutmix_NiPrunedFp32Fix
描述词:masterpiece, best quality, landscape,morden house, ,scenery, photorealistic, realistic)
怎么样,是不是很神奇!下一节,我们将使用ControlNet对人物的动作进行指导,让人物摆出特定的动作,这是ControlNet最神级的操作!这意味着可以自定义姿势,这意味着AI绘图正式进入自主可控的世代!另外,博主还将使用ControlNet展示对建筑/室内图像生成的基本用法。欢迎点赞、关注、收藏支持一波,更多AI绘画教程敬请期待!