Stable-Diffusion 3 安装教程

开源文生图软件 Stable-Diffusion 3 安装教程

Stable-Diffusion 3（以下简称“SD3”）具有以下主要特点：

  • 图像质量提升：能生成细节逼真、色彩鲜艳、光照自然的图像，整体图像质量有显著提升，在各种超清特写方面表现出色。
  • 复杂提示理解能力强：可以理解复杂的自然语言提示，如空间推理、构图元素、姿势动作、风格描述等。能准确生成包含多个元素的复杂提示内容，且文本效果比 Midjourney 更准确。
  • 文字渲染能力出色：在英文文本拼写、字距等方面更加正确合理。例如可以生成逼真的黑板粉笔字效果。
  • 风格适应性强：无需微调，仅通过提示词就能生成动漫、厚涂等多种风格化的图像。
  • 多文本编码器解耦：使用多个文本编码器对「文本」和「图像」语义进行解耦，其中 CLIP 用于编码一个粗粒度的文本表征作为训练、测试过程的条件，而 T5XXL 以及 OpenCLIP 则用于获取更细粒度的表征，以增强模型生成具体文字时的表现。
  • 采用 diffusion transformer 架构：通过该架构提升了模型在文本理解和人类偏好评分等方面的性能。
  • 改进的采样策略：提出了定制化的采样策略，通过控制采样密度函数中的 scale 和 bias，使模型在采样过程的中间步数拥有更高的权重，解决了中间采样部署权重过低的问题。此外，不再对 timestep 进行均匀采样，而是从非线性分布中进行采样。
  • 高维特征压缩：将 VQGAN 压缩得到的特征维度从原来的4维提升到16维，使压缩后的特征能包含更多信息量，进而提升生成模型的学习效果，更好地表现手部以及面部细节。
  • 此次开放的是 Stable-Diffusion 3 Medium 模型，它包含20亿参数，具有体积小的优点，适合在消费级 PC 和笔记本电脑上运行。需要注意的是，该模型的授权范围是开放的非商业许可证，在没有官方许可的情况下，不得用于商业用途。

    不过，SD3 也存在一些不足，比如在生成手部的时候依旧可能会出现错误，在生成“lying（躺）”这个姿势时，人物可能会出现严重的崩坏。

安装教程

1. 首先点击右上角登录或注册账号【点击前往】

52a26827e54aa7851be2f.png

2. 下载开源的 Stable-Diffusion 3 大模型：【点击前往】

b9bacaa3c4eacec53bfcb.png
选择Files and versions
18f9f2524adb1ef86191d.png
根据自己的PC性能选择下载需要的版本。

  • sd3_medium.safetensors：基础版本。（适合无独显PC使用）
  • sd3_medium_incl_clips.safetensors：包含了 clip_g 和 clip_l 编码器。如果你需要使用到这些编码器，且电脑配置能够容纳 5.97GB 的模型大小。
  • sd3_medium_incl_clips_t5xxlfp8.safetensors：包含了 clip_g、clip_l 和 t5xxl_fp8 编码器，采用 8 位浮点数精度。它的模型大小为 10.9GB，相较于 fp16 版本，对显存的要求相对较低。如果你的电脑显存有限（例如 8GB 或 10GB 左右）。
  • sd3_medium_incl_clips_t5xxlfp16.safetensors：包含了 clip_g、clip_l 和 t5xxl_fp16 编码器，采用 16 位浮点数精度。这个版本通常能提供更高质量的图像生成，但它的模型较大，为 15.8GB，并且对显存的要求也更高（大概需要 12GB 及以上的显存）。

3. 下载 ComfyUI 控制面板：【点击下载】

ff6ebffde563963fc135b.png

  • 将下载好的ComfyUI控制面板解压，并拷贝模型文件到./ComfyUI_windows_portable/ComfyUI/models/checkpoints文件夹内，

4. 汉化 ComfyUI 中文语言设置：【语言包下载】

a7e012f96b42c75cc9ba9.png

  • 将 ZIP 包解压到ComfyUI\custom_nodes目录中，
    7a6b846e3111a7d96c0cb.png
  • 执行批处理文件
    12e5962aa31e054afdbf1.png
  • 进入设置中心切换语言为中文
    d2e1cc86052e93bb68362.jpg

5. 生成图像

在页面提示词输入框输入提示词，点击执行队列。
6f5dc160cd18c34685966.png
提示词示例：

1
Ultra high quality, hyper detailed, realistic skin texture, sharp focus, intricate details. A young girl with delicate features and innocent expression, long eyelashes and bright eyes, sitting gracefully on the bay window with legs crossed and body posture relaxed. Wearing a pink dress with flowy fabric, ruffled hem and satin ribbons. Hair gently blown by the wind, loose curls and golden highlights. Sunlight streaming through the window, soft shadows and peaceful atmosphere. Realistic photography style, natural colors, accurate lighting, depth of field.

3e7319259889df43b9478.jpg