当前位置：首页 > article >正文

Stable Diffusion零基础学习

article 2024/9/29 23:03:04

Stable Diffusion学习笔记TOP10

sd学习笔记TOP10的修改版本：IP2P的模型文件跟配置文件未添加，Tile分块重采样和局部重绘的模型文件跟配置文件撰写错误已被修改

@@_插件篇之ControlNet功能篇

ControlNet目前支持的10多种预处理器，根据数据检测种类可分为两种类型：
1、功能型：拥有着不同的能力
2、构图型：控制着SD扩散图形的构图规则
在这里插入图片描述

IP2P：一个言出法随的修图模型；是使用50%的指令提示和50%的描述提示进行训练。
模型文件：control_v11e_sd15_ip2p.pth
配置文件：control_v11e_sd15_ip2p.yaml
将原图放入到ControlNet，并在提示词输入让它变成什么样子。
语法：（让它怎么样）
make it on XXX / make it XXX / make he XXX
【提示词：make it lion】
在这里插入图片描述备注：可以执行我们指定的局部命令，我们需要它修改什么元素就可以修什么元素而保持其它元素结构不变；所以IP2P可以用于环境背景天气的更改以及单独修改人物。

Tile分块重采样：忽略输入图像的细节并添加新的细节，通常与放大器一起使用以同时放大图像，在对图像增加细节的同时不改变原有的基本构图。
模型文件：control_v11fle_sd15_tile.pth
配置文件：control_v11fle_sd15_tile.yaml
常用的放大插件有：
SD upscale/Ultimate SD upscale/StableSR/Tiled Diffusion

局部重绘：也叫做修复，可以让我们在重绘中使用高去噪强度来生成较大的变化，而不会牺牲与整个图片的一致性。
模型文件：control_v11p_sd15_inpaint.pth
配置文件：control_v11p_sd15_inpaint.yaml
在重绘的时候使用它，更能懂得我们输入的提示词元素应该出现在哪里；也可以用它来扩展图像。
【提示词：1 cat,looking at viewer, simple background,】
更改为
【提示词：1 dog,looking at viewer, simple background,】
猫变成狗狗了，但身体还是猫的身体。
在这里插入图片描述输入图像使用inpaint仅局部未使用inpaint
当然我们也可以用这个来扩展图像：
使用inpaint only+lama
调整输入分辨率
缩放后填充空白
配合提示词
可参考往期基础篇章的图生图参数详解

Reference 参考：生成与参考图像相似的图像，但图像仍会受到稳定扩散模型和提示的影响。
在这里插入图片描述

使用参考预处理器，不使用控制模型，我们只需要选择预处理器即可。实际上，模型下拉菜单将在选择参考预处理器后隐藏。
1、Reference adain：
参考 adain：通过自适应实例规范化进行样式转换(基本算法)。
2、Reference only：
仅参考：将参考图像直接链接到注意力层。
(从潜空间开始影响，不清楚的看之前的图生图详解)
3、Reference adain+attn：
adain+attn：以上的组合（参考幅度更大）
参考的原理有点类似于图生图原理，但附带收束功能；图生图只是在初始引响噪声图而参考，可以理解为一种持续影响的图生图。

在同一模型下，固定人物外貌特征，扩散系列图像（配合两张参考图的TAG反推提示词）
在这里插入图片描述