ControlNet 风格迁移介绍

前言：

ControlNet 的风格化插件有好几个，经常会弄得混淆不清，今天花点时间整理一下。
 

shuffle

shuffle是controlnet风格迁移的最初尝试，单独使用出图不会太完美，可以结合canny、depth、等等来使用，不过即是是这样，出问题的概率也不小的。

Reference

主要作用是风格迁移，不过能迁移的识别度更高，例如一些物体等等，在稳定性上也会优于shuffle。所以一般情况下，我们可以优先选择Reference。

在预处理器方面，Reference-only参考风格更倾向于原图的，adain更倾向于把参考图的风格和纹理等等迁移到大模型生成的图片中，所以这个预处理器的结果往往是大模型为主，Reference为辅，效果一般不够only好。 adain+attn是结合了only和attain的算法，理论上来说adain+attn是最接近controlnet的参考图的。实际上在使用中，only是更稳定的。所以更推荐使用only。不过大家是刚开始学习接触这个模型，可以都试试。

还有一个要点，Reference下面有一个参数：Style Fidelity (only for "Balanced" mode)

这个参数叫风格保真度，数值越高，风格就越明显，一般情况下我们保持默认就好，这个参数是在controlnet的均衡模式下才有效的，选择偏向于提示词，就相当于把保真度设置为0.选择偏向于controlnet，就相当于把保真度设置为1.

IP-Adapter

可以理解为，用图片当作提示词来使用

预处理器：

ip-adapter_clip_sd15、ip-adapter_clip sdxl、ip-adapter_clip_ sdxl_plus_vith是参考图片的整体

（在新版的controlnet中，带xl的预处理器是需要大模型选择xl模型，才会显示出来）

ip-adapter_face_id、ip-adapter_face_id_plus是参考图片的人物面部特征。 使用要求：1.写实方向的图片 2.人物面部需要足够清晰 不按照要求容易报错

模型：

ip-adapter_clip_sd15对应的模型有几个

1.ip-adapter_sd15 [dbbc7cfe]、

2.ip-adapter_ sd15_ light [932b88cf]、

3.ip-adapter-plussd15 [836b5c2e]、

这三个模型类似controlnet的控制模式

ip-adapter_sd15 [dbbc7cfe]出图相对均衡

ip-adapter_ sd15_ light [932b88cf]出图更偏向于提示词

ip-adapter-plussd15 [836b5c2e]出图更偏向于controlnet的参考图

ip-adapter_clip sdxl、ip-adapter_clip_ sdxl_plus_vith两个预处理器的区别是，二者对应的辅助生成模型不一样。

另外IP-Adapter是没有控制模式这个参数的，旧版的也许还存在这个参数，但是选择也没用的。

预处理器对应的模型也可以分为三类

普通的face_id类只固定人物面部特征，所以最终的结果很依赖大模型的结果

face_id_plus类是在固定人物面部特征的基础上，再加入一个面部的clip图像嵌入，结果更接近原图（提示词无法干涉面部内容）

face_id_plusV2类是在固定人物面部特征的基础上，加入了可控的面部的clip图像嵌入（重点在可控，目前最好，不能使用明星图片）

recolor

运行逻辑是先把参考图转换成黑白图片，然后再把黑白图片重新上色。

预处理器：

recolor_intensity更注重颜色饱和度

recolor_luminance更注重颜色的亮度

比其他控制类型多出来的参数：Gamma Correction（灰度矫正）

作用：突出图片中明暗对比的效果

数值越小，对比越弱，亮度越强

数值越大，对比越强，亮度越小

使用的时候颜色容易渲染，需结合正反向提示词来调整。

InstructP2P

没有预处理器，只有一个模型

上传图片到controlnet，点击预览

提示词改为：make it xxx 可以理解为，让图片变成xxx (下雪、下雨、春天、冬天等等）