当前位置: 首页 > article >正文

ComfyUI绘画|Stable Diffusion原理的简易讲解

ComfyUI 是节点式的,需要自己来搭建节点出图。

网络上有千千万万的工作流可以直接套用,

但如果想要真正摸透 ComfyUI 的逻辑,你不懂 SD 的原理,是无法自己搭建工作流的。

生噪与去噪

Stable Diffusion 翻译成中文是指 稳定的扩散,整个 SD 都是基于这个 Diffusion(扩散算法)来生图的。

扩散算法的原理简单来讲,就是生噪(生成噪点)到去噪(去除噪点)的过程:

翻译

我们输入的提示词,例如:1 beautiful girl

计算机是无法理解自然语言的,而是需要通过转译,变成计算机能懂的机器语言,

在 AI绘画 中,这个翻译叫做 CLIP(Text Encoder 文本编码器的一种),就是把人类的语言翻译成计算机能理解的语言,也就是将 文本信息 转换为 数字化描述

接着,CLIP算法会根据此模型被调教的经验,大概感知到 1 beautiful girl 这组关键词会有哪些特征,

完成翻译之后,下一步进入到 Latent Space(潜空间)

压缩

所有数据进入到潜空间,会被压缩得特别小,从而降低算力成本

去噪

AI生图,是 生噪(生成噪点)到去噪(去除噪点)的过程,进入到潜空间内,需要经过 U-net 对噪点(随机种子)进行引导,起到去噪的作用。

解码

这一步,需要通过 VAE解码器 来进行解码,让计算器输出我们能够理解的图像,完成了出图。

总结

Stable Diffusion 的工作原理,可以用一下的流程图来理解:

今天先分享到这里~


ComfyUI绘画|关于 ComfyUI 的学习建议


http://www.kler.cn/a/404143.html

相关文章:

  • 【生成数据集EXCEL文件】使用生成对抗网络GAN生成数据集:输出生成数据集EXCEL
  • 机器学习基础05_随机森林线性回归
  • 无人机与低空经济:开启新质生产力的新时代
  • saas测试跟传统软件测试有什么区别
  • Target-absent Human Attention
  • 子串【Lecode_HOT100】
  • 2024年亚太地区数学建模C题完整思路
  • “闲置经济”成新消费趋势,万物新生长期成长性如何?
  • 早期超大规模语言模型的尝试——BLOOM模型论文解读,附使用MindSpore和MindNLP的模型和实验复现
  • B树的简单实现
  • DAY4 网络编程(广播和多线程并发)
  • shell(6)之for循环
  • React可以做全栈开发吗
  • atob()为啥明明表示base64toASCII却叫atob?(2)
  • AIX下crs-5005 ip address is aready in use in the network的解决办法
  • Apple Vision Pro开发003-PolySpatial2.0新建项目
  • Ubuntu24.04——软件包系统已损坏
  • 关于学习小波分析
  • Xilinx IP核(3)XADC IP核
  • AcWing 842. 排列数字(周四)
  • translation1
  • 【Maven】IDEA创建Maven项目 Maven配置
  • ssm框架-spring-spring声明式事务
  • Spring Boot实验室管理系统:高效科研管理解决方案
  • HBase Flink操作
  • 详解Rust枚举类型(enum)的用法