当前位置: 首页 > article >正文

【Stable Diffusion】ControlNet基本教程(三)

接上篇【Stable Diffusion】ControlNet基本教程(二),本篇再介绍两个ControlNet常见的基本用法,更多用法欢迎关注博主,博主还会更新更多有趣的内容。
3.3更换物体皮肤
有时,我们不想改变物体的轮廓,只想改变物体表面的皮肤,例如,同一种鞋型,我们让它生成不同的鞋子表面的样式
(1)在“图生图(img2img)”中上传(Drop Image Here or Click to Upload)需要更换“皮肤”的 物体图片
在这里插入图片描述
(2)在ControlNet中上传同一张需要处理的图像(Drop Image Here or Click to Upload)
(3)启用ControlNet,在“预处理(Preprocessor)”中选择“canny”或“hed”或“pidinet”,在“模型(Model)”中选择对应的“control_canny”或“control_hed”,值得注意的是在“预处理(Preprocessor)”选择“pidinet”,在“模型(Model)”对应的也是“control_hed”,这三种处理方式,都是对图像的边缘进行检测,根据自己的需求进行选择,可以在下方的“预处理分辨率(Annotator Resolution)”如果选择“hed”,就是“HED Resolution”,作用都是一样的,调节边缘线条,可以点击下方的“预览预处理结果(Preview Annotator Result)”对预处理后的效果进行观察,判断是否做进一步调整,调节参数的位置如图:
在这里插入图片描述
调节后效果实例:
在这里插入图片描述

(4)选择大模型,不同的大模型显示的图像效果不同,可以多试验几个,这里我使用“chilloutmix_NiPrunedFp32Fix”来试验
(5)输入Prompt和Negative prompt词,根据你的需要来输入,比如,你想要“一双蓝色的潮流鞋子”,就可以输入“blue fashionable shoes”,当然,你也可以根据你的需求输入其他的描述词,鞋带的颜色,鞋面有没有涂鸦等等。
(6)如果有其他需要,还可以配合lora等使用
效果如下:
在这里插入图片描述
(大模型:chilloutmix_NiPrunedFp32Fix
描述词:masterpiece, best quality, design sense, blue fashionable shoes)
在这里插入图片描述
(大模型:chilloutmix_NiPrunedFp32Fix
描述词:masterpiece, best quality, design sense, green fashionable shoes)
效果还是蛮不错的!设计师的灵感库、淘宝商家的福音!
3.5室外风景生成
我们想要用特定的颜色随便涂抹几笔就能生成一张好看的风景图片,使用ControlNet的语义分割模型就能实现
(1)使用特定的颜色进行涂抹创作,因为ControlNet使用的模型为ADE20K,颜色所代表的元素对应如下:在这里插入图片描述
或者使用一张真实的风景图片,先进行语义分割,再做进一步处理,值得注意的是,在ControlNet中使用预处理选择segmentation,模型选择control_seg也可以将进行语义分割,但速度相对较慢,效果也不是太好,这里推荐使用:https://huggingface.co/spaces/shi-labs/OneFormer。打开之后:
在这里插入图片描述

如果有兴趣对语义分割以及其他计算机视觉的内容感兴趣,博主将会专门出博文讲一下
这里得到一张语义分割图像:
在这里插入图片描述

(2)在ControlNet中点击启用,上传语义分割图像,在预处理中选择None,在模型中选择control_seg,在Prompt和Negative prompt中加入一些描述词,再选择大模型,有兴趣还可以加入lora,以及其他一些模型、参数,就可以生成室外风景图像了。
图像示例:
在这里插入图片描述
(大模型:realisticVisionV13_v13
描述词:masterpiece, best quality, landscape,morden house, ,scenery, photorealistic, realistic)
在这里插入图片描述
(大模型:chilloutmix_NiPrunedFp32Fix
描述词:masterpiece, best quality, landscape,morden house, ,scenery, photorealistic, realistic)
怎么样,是不是很神奇!下一节,我们将使用ControlNet对人物的动作进行指导,让人物摆出特定的动作,这是ControlNet最神级的操作!这意味着可以自定义姿势,这意味着AI绘图正式进入自主可控的世代!另外,博主还将使用ControlNet展示对建筑/室内图像生成的基本用法。欢迎点赞、关注、收藏支持一波,更多AI绘画教程敬请期待!


http://www.kler.cn/a/17730.html

相关文章:

  • redis7.x源码分析:(1) sds动态字符串
  • 第一个 Flutter 项目(1)共46节
  • 爱普生SG-8200CJ可编程晶振在通信设备中的应用
  • 系统架构设计师论文
  • #渗透测试#SRC漏洞挖掘#云技术基础02之容器与云
  • mysql 更改 字段长度
  • 想要跳槽涨薪 那你准备拿下 Framework 了吗?
  • 【unity造轮子】2d敌人AI的实现,并自动躲避障碍物
  • 详细版简单易学版TypeScript各类型声明
  • 11. Kubernetes 开章
  • 观察者模式
  • 爬虫实验笔记
  • Java面试题,吐血整理~
  • 【LeetCode】413. 等差数列划分
  • git合并分支(开发版本分支合并到发布版本分支)
  • JavaWeb:JavaScript 教程 笔记
  • 【系统集成项目管理工程师】计算题专题一
  • 3.13 结构体嵌套、大小及位域
  • Golang每日一练(leetDay0055) 最长子串、相交链表
  • Yuzuki Lizard V851S开发板 –编译 OPENCV 4.5.4
  • MySQL:常见运算符
  • FLstudio21支持中文语言及水果最新版本功能特点
  • C++之C++新特性
  • 借助PLC-Recorder,西门子PLC S7-200SMART实现2ms周期采集的方法(带时间戳采集)
  • C plus plus ——【继承与派生】
  • TouchGFX开发(2)----触摸屏幕组件点亮LED