当前位置：首页 > article >正文

Stability AI最新一代图像生成模型stable-diffusion-3.5-large分享

article 2024/11/30 9:37:30

stable-diffusion-3.5-large是由 Stability AI开发的最新一代图像生成模型。

stable-diffusion-3.5-large模型拥有80亿个参数，能够生成高达百万像素级别的高分辨率图片，直接输出专业级别的图像。

stable-diffusion-3.5-large提供了丰富的定制选项，用户可以对模型进行微调、使用LoRA优化，以及进一步开发特定的工作流程。

stable-diffusion-3.5-large优化了模型，使其能够在普通消费级硬件上运行，无需昂贵的高端设备就能生成高质量图像。

stable-diffusion-3.5-large通过引入Query-Key Normalization技术，模型的训练过程更加稳定，减少了生成崩溃的情况。

stable-diffusion-3.5-large能够生成各种风格和美学效果，如三维、摄影、绘画、线条艺术以及几乎所有能想象到的视觉风格，减少了对提示词的依赖。

github项目地址：https://github.com/Stability-AI/sd3.5。

一、环境安装

1、python环境

建议安装python版本在3.10以上。

2、pip库安装

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3、模型下载：

git lfs install

git clone https://modelscope.cn/models/AI-ModelScope/stable-diffusion-3.5-large

二、功能测试

1、运行测试：

（1）modelscope调用测试

import torch
from diffusers import StableDiffusion3Pipeline
from modelscope import snapshot_download

def generate_image(prompt, model_id="AI-ModelScope/stable-diffusion-3.5-large", steps=28, scale=3.5, save_path="output.png", device="cuda"):
    # Download the model
    model_dir = snapshot_download(model_id)
    
    # Load the pipeline model
    pipe = StableDiffusion3Pipeline.from_pretrained(model_dir, torch_dtype=torch.bfloat16)
    pipe = pipe.to(device)
    
    # Generate the image
    image = pipe(prompt, num_inference_steps=steps, guidance_scale=scale).images[0]
    
    # Save the image
    image.save(save_path)
    print(f"Image saved to {save_path}")

# Example usage
generate_image(prompt="A serene forest with a hidden waterfall", save_path="save.png")

未完......

更多详细的欢迎关注：杰哥新技术