当前位置：首页 > article >正文

stable diffusion WEBUI Brief summary

article 2024/10/22 12:17:47

1，rembg(去除背景-》蒙版)

import rembg
from PIL import Image, ImageOps
import numpy as np

# 打开图像
input_path = "./p_6258838.jpg"
input_image = Image.open(input_path)

# 移除背景，得到带有透明背景的图像
output_image = rembg.remove(input_image)

# 将 PIL 图像对象转换为 NumPy 数组，以便进一步处理
output_image_np = np.array(output_image)

# 检查是否有 alpha 通道（4通道图像：RGBA），并生成蒙版
if output_image_np.shape[2] == 4:
    # 提取 alpha 通道，alpha 通道的值为 0 的部分为透明，255 为不透明
    alpha_channel = output_image_np[:, :, 3]

    # 转换为黑白蒙版，透明的部分设为黑色（0），不透明部分设为白色（255）
    mask = np.where(alpha_channel > 0, 255, 0).astype(np.uint8)

    # 将蒙版转换回 PIL.Image 对象
    mask_image = Image.fromarray(mask, mode='L')  # 'L' 表示灰度图像

    # 显示或保存蒙版
    mask_image.show()  # 显示蒙版图像
    # mask_image.save("mask_image.png")  # 如果需要，可以保存蒙版图像
else:
    print("图像没有 alpha 通道，可能不是去除背景后的透明图像。")

2，关于inpatint anything 和 background remove 问题

如果安装了插件再WEBUI上面没有显示，说明sd-webui-controlnet 没有更新，我的操作是将sd-webui-controlnet文件夹直接删除，重新去GITHUB找新版本的，装好后需要重新运行代码，加载时长可能有点长因为sd-webui-controlnet需要重新安装新的包，切记关闭FQ代理。

3，关于stable diffusion webui 安装提示

初始安装的时候，代码运行不起来主要问题还是安装github上的包，没有代理。开启代理后直接可以用git直接拉下来就解决了。其次就是显卡和cuda ,torch , torchversion的问题。

ubuntu 22.04
cuda 11.4
pip 包





--prefix=/usr/local/gcc-12
https%3A//repo.continuum.io/archive/Anaconda3-5.3.1-Linux-x86_64.sh

ubuntu 22.04
cuda 11.4
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 -f https://download.pytorch.org/whl/torch_stable.html

conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=10.2 -c pytorch

pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113

pip install torch==1.12.0+cu116 torchvision==0.13.0+cu116 torchaudio==0.12.0 -f https://download.pytorch.org/whl/torch_stable.html

bash webui.sh --skip-torch-cuda-test --no-half --precision full --use-gpu all --listen

.\webui.bat --skip-torch-cuda-test --no-half --precision full --use-cpu all --listen  

deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse

nvcc -V

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Thu_Nov_18_09:45:30_PST_2021
Cuda compilation tools, release 11.5, V11.5.119
Build cuda_11.5.r11.5/compiler.30672275_0

nvidia-560.35.03


NVIDIA-Linux-x86_64-470.256.02.run

pip install open_clip_torch
解决办法：
1.sd下创建 openai 文件夹
2 git clone https://www.modelscope.cn/AI-ModelScope/clip-vit-large-patch14.git
3, .\webui.bat --skip-torch-cuda-test --no-half --precision full --use-cpu all --gradio-auth root:123456 --api --api-auth root:123456 --listen --enable-insecure-extension-access

以上是我的梳理，主要坑点还是在显卡的驱动问题上面,还有cuda对应的torch版本上面