Featured image of post 拥抱高效：使用 Gradio 快速部署精炼版 Stable Diffusion
AI 编程 机器学习

拥抱高效：使用 Gradio 快速部署精炼版 Stable Diffusion

本文深入探讨精炼版 Stable Diffusion 模型，了解它如何大幅提升文生图效率，降低资源门槛，并手把手教你如何通过 Gradio 轻松搭建交互式 Web UI，让高性能 AI 触手可及。

大家好！今天来聊聊一个更轻量的：精炼版 Stable Diffusion。如果你对文本到图像（Text-to-Image）生成感兴趣，或者你的 GPU 资源有限，但又想玩转时下最火的 AI 绘画，那么这篇内容你可千万别错过。

Stable Diffusion (SD) 模型在 AI 图像生成领域可谓是家喻户晓，它以惊人的能力将文字描述转化为生动图像，是许多创意应用的核心。但是，高性能的 AI 模型往往伴随着高昂的计算成本。一张高质量的图像可能需要复杂的迭代过程，这让不少个人开发者望而却步。

好消息是，AI 社区从不停止探索！通过**模型蒸馏（Model Distillation）**等技术，我们现在有了更轻量、更快速、更易于部署的精炼版 Stable Diffusion。这些模型不仅大大降低了对硬件的要求，还能在有限的 GPU 资源下实现接近实时（near real-time）的图像生成。想象一下，仅仅用 13 个 A100 GPU 天的训练成本（对比原版可能需要超过 6000 个 A100 GPU 天），就能得到一个足以媲美原版 SD 模型效果的“小而美”版本，是不是非常激动人心？

在这篇文章中，我将带你深入了解精炼版 Stable Diffusion 的奥秘，揭示它背后的原理。更重要的是，我们还会手把手教你如何利用 Gradio 这个神器，轻松搭建一个交互式 Web UI，让你的精炼版 SD 模型真正“活”起来，人人都能玩转 AI 绘画！

准备好了吗？让我们一起踏上这场 AI 效率之旅吧！

核心要点

在深入代码之前，我们先来快速回顾一下精炼版 Stable Diffusion 的几个关键亮点：

  • 模型瘦身与加速: 精炼版 Stable Diffusion 通过压缩和优化，显著提升了模型性能，同时最大限度地保留了生成图像的质量。
  • 资源友好: 它让在有限的 GPU 资源上实现实时或接近实时的图像生成成为可能，不再需要“军火库”级别的硬件。
  • Gradio 助力: 借助 Gradio，我们可以轻松构建和分享交互式演示界面，让 AI 应用的部署变得无比简单。
  • 成本效益: 模型蒸馏有效降低了计算和内存需求，让高性能 AI 触手可及。
  • 应用场景广泛: 从艺术创作、产品可视化、原型设计到各种创意应用，精炼版 SD 都能大显身手。

前置准备

在动手实践之前，请确保你已具备以下条件：

  • 机器学习基础知识: 了解神经网络的基本概念，特别是扩散模型（Diffusion Models）。熟悉**隐空间（Latent Space）**和图像生成的工作原理会帮助你更好地理解。
  • 硬件要求: 为了获得更快的推理速度，推荐使用配备 NVIDIA CUDA-enabled GPU 的机器（例如 A100, H100，或者至少是 RTX 20xx/30xx 系列 GPU）。
  • 开发环境: 推荐使用 Jupyter Notebook 或任何你喜欢的 IDE (如 VS Code, PyCharm)。
  • 虚拟环境: 熟悉 venv 或 conda 等虚拟环境工具，以避免依赖冲突。
  • 预训练模型检查点: 能够访问 Hugging Face Model Hub 等平台上的精炼版 SD 模型检查点。

精炼版 Stable Diffusion 是什么？

要理解精炼版 Stable Diffusion，我们得先从 Stable Diffusion 本身说起。SD 属于一类被称为**扩散模型（Diffusion Models）**的深度学习模型，这些大型的文本到图像（T2I）模型通过逐步去除随机噪声来生成数据。它们通常在数十亿图像数据集上训练，从而学会从噪声中“创造”新的图像。

想象一下这个过程：

  1. 正向扩散 (Forward Diffusion)：我们拿一张猫的图片，然后一点点地往上面加噪声，直到它变成一团完全模糊、无法辨认的像素。就像这样：

    正向扩散过程

    图片来源

  2. 反向扩散 (Reverse Diffusion)：这才是魔法发生的地方！模型会迭代式地从模糊图像中去除噪声，最终恢复出原始的图像。为了做到这一点，模型需要知道每次加入了多少噪声。这就是**噪声预测器（Noise Predictor）**登场的时候了，它通常是一个 U-Net 模型。

    这个过程是这样的：先生成一个随机图像（可以看作是纯噪声），然后噪声预测器估算出其中的噪声，再从图像中减去它。重复几次之后，一张清晰的猫（或者狗）的图像就诞生了。

    反向扩散过程

    图片来源

    然而，在高维像素空间直接进行这些操作效率并不高。为了提速，隐式扩散模型（Latent Diffusion Model）应运而生。Stable Diffusion 正是一种隐式扩散模型。它不直接在像素空间操作，而是先将图像压缩到一个隐空间（Latent Space）中。这个隐空间通常比原始图像小 48 倍，这意味着需要处理的数据量大大减少，推理速度自然也快得多。SD 模型使用变分自编码器（Variational Autoencoder, VAE），其中编码器负责将图像压缩到低维隐空间，解码器则负责将其还原。

在训练时，SD 模型不是直接生成带噪声的图像，而是在隐空间中生成一个张量。它在隐空间中添加噪声，而非直接向图像添加，这种方法大大提高了效率。

那么，文字又是怎么变成图像的呢？

在 SD 模型中，文本提示词（Prompt）首先会通过分词器（Tokenizer）转换为数字化的词元（Tokens）。每个词元再转换为一个 768 维的嵌入向量（Embedding）。接着，文本编码器（Text Encoder），通常是一个 Transformer 模型，对这些嵌入进行处理。最终，Transformer 的输出被送入噪声预测器 U-Net。

文生图工作流程

图片来源

SD 模型首先在隐空间中初始化一个随机张量（这个随机性可以通过随机数种子控制），这就是隐空间中的“噪声图像”。噪声预测器 U-Net 接收这个隐式噪声图像和文本提示词作为输入，预测出隐空间中的噪声（一个 4x64x64 的张量）。然后，这个预测到的噪声从隐式图像中减去，生成新的隐式图像。这个迭代过程可以由**采样步数（Sampling Steps）**来控制。最后，VAE 解码器将最终的隐式图像转换回像素空间，生成与提示词对齐的最终图像。

总的来说，隐式扩散模型结合了概率、生成建模和扩散过程，为从隐空间生成复杂逼真的数据提供了一个强大的框架。

然而，迭代去噪的 Stable Diffusion 依然是计算密集型的。为了解决这个问题，Nota AI 推出了精炼版 Stable Diffusion 模型。这个精炼版通过移除 U-Net 中的部分残差块和注意力块，将模型大小减少了 51%，并在 CPU/GPU 上的延迟降低了 43%。这项工作在有限的预算下取得了显著的成果。

正如论文 “BK-SDM: A Lightweight, Fast, and Cheap Version of Stable Diffusion” 所强调的，知识蒸馏的 SD 模型简化了 U-Net——这是系统中计算需求最大的组件。通过减少 U-Net 内部每一步的计算量，模型显著提高了效率。下图展示了从 SDM-v1 衍生的压缩架构。

精炼版SD架构

图片来自原始研究论文

代码演示

好了，理论说得够多了，让我们来点实际的！首先，我们需要安装所需的库，除了 Stable Diffusion 相关的库，我们还会安装 Gradio 来构建 Web UI。

!pip install --quiet git+https://github.com/huggingface/diffusers.git@d420d71398d9c5a8d9a5f95ba2bdb6fe3d8ae31f
!pip install --quiet ipython-autotime
!pip install --quiet transformers==4.34.1 accelerate==0.24.0 safetensors==0.4.0
!pip install --quiet ipyplot
!pip install gradio
%load_ext autotime

接下来，我们搭建一个流水线（Pipeline），生成第一张图片并保存。这里我们使用 segmind/SSD-1B 这个精炼模型。

# 导入必要的库

from diffusers import StableDiffusionXLPipeline
import torch
import ipyplot
import gradio as gr

# 从 Hugging Face 加载精炼版 Stable Diffusion XL 模型 (SSD-1B)
# 使用 float16 精度和 safetensors 格式，并设置为 fp16 variant 以优化性能
pipe = StableDiffusionXLPipeline.from_pretrained("segmind/SSD-1B", torch_dtype=torch.float16, use_safetensors=True, variant="fp16")
# 将模型移动到 CUDA 设备（GPU）以加速计算
pipe.to("cuda")

# 定义一个正面提示词，描述我们想要生成的图片
prompt = "an orange cat staring off with pretty eyes, Striking image, 8K, Desktop background, Immensely sharp."
# 定义一个负面提示词，描述我们不希望图片中出现的内容
neg_prompt = "ugly, poorly Rendered face, low resolution, poorly drawn feet, poorly drawn face, out of frame, extra limbs, disfigured, deformed, body out of frame, blurry, bad composition, blurred, watermark, grainy, signature, cut off, mutation"

# 使用模型生成图片，这里我们只取第一张生成的图片
image = pipe(prompt=prompt, negative_prompt=neg_prompt).images[0]

# 保存生成的图片到本地
image.save("test.jpg")

# 使用 ipyplot 显示生成的图片
ipyplot.plot_images([image],img_width=400)

执行上述代码后，你将看到一张根据提示词生成的精美图片：

生成的图片示例

图片结果

上面的代码首先从 diffusers 模块导入 StableDiffusionXLPipeline 类。在导入必要库之后，我们创建了一个名为 pipe 的 StableDiffusionXLPipeline 实例。接着，加载了名为 “segmind/SSD-1B” 的预训练模型到这个流水线中。模型配置为使用 16 位浮点精度 (torch_dtype=torch.float16)，启用了安全张量 (use_safetensors=True)，并将变体设置为 “fp16”，以优化 GPU 上的性能。由于我们使用 GPU，模型被移动到 CUDA 设备上以实现更快的计算。

为了进一步优化图片生成，我们可以调整引导尺度（guidance_scale）和推理步数（num_inference_steps）。guidance_scale 参数控制提示词对图片生成的影响力，值越高，生成的图片越贴近提示词。num_inference_steps 则决定了图片生成过程中的迭代步数，步数越多，细节通常越丰富，但耗时也越长。在这里，我们将其设置为 7.5 和 30：

allimages = pipe(prompt=prompt, negative_prompt=neg_prompt,guidance_scale=7.5,num_inference_steps=30,num_images_per_prompt=2).images

使用 Gradio 构建你的 Web UI

Gradio 简直是机器学习模型的“瑞士军刀”，它能让你以最快的速度，用一个用户友好的 Web 界面展示你的模型，让任何人都能轻松使用。下面我们看看如何用 Gradio 搭建一个简单的 UI。

首先，定义一个用于生成图像的函数，这个函数将作为 Gradio 界面的核心逻辑：

def gen_image(text, neg_prompt):
    return pipe(text,
                negative_prompt=neg_prompt,
                guidance_scale=7.5,
                num_inference_steps=30).images[0]

接下来，这段代码利用 Gradio 库创建了一个简单的 Web 界面，通过 gen_image 函数生成 AI 图像。

# 定义两个文本输入框，用于用户输入正面提示词和负面提示词
txt = gr.Textbox(label="Prompt")
txt_2 = gr.Textbox(label="Negative Prompt")

# Gradio 界面配置
# fn：指定后端处理函数
# inputs：定义输入组件列表
# outputs：定义输出类型，这里是“image”
# title：界面顶部显示的标题
demo = gr.Interface(fn=gen_image, inputs=[txt, txt_2], outputs="image", title="使用精炼版 Stable Diffusion 生成 AI 图像😁")
# 启动 Gradio 界面，share=True 会生成一个可分享的公共链接
demo.launch(share=True)

这段代码做了以下几件事：

  • 指定 gen_image 函数作为界面接收输入后执行的函数。
  • 定义了界面的输入组件，即用于输入正面提示词和负面提示词的两个文本框 (txt 和 txt_2)。
  • outputs="image"：指定输出类型为图像。
  • 设置界面标题为 title="使用精炼版 Stable Diffusion 生成 AI 图像😁"。
  • 调用 launch 方法启动 Gradio 界面。share=True 参数表示界面将生成一个可共享的公共链接，方便他人访问和使用。

运行这段代码，你将看到一个简洁明了的 Web 界面，可以在其中输入提示词和负面提示词，然后点击生成，即可通过我们定义的 gen_image 函数来生成 AI 图像！

Gradio UI 界面

SSD-1B 模型深度解析

最近，Segmind 推出了开源基础模型 SSD-1B，并宣称它是最快的扩散文本到图像模型。作为蒸馏系列的一部分，SSD-1B 相较于 SDXL 1.0 模型，在模型大小上减少了 50%，速度提升了 60%。尽管有这些显著改进，图像质量与 SDXL 1.0 相比仅有微乎其微的妥协。此外，SSD-1B 模型已获得商业许可，为企业和开发者提供了将其前沿技术融入自身产品的机会。

这个模型是 SDXL 的精炼版本，它已被证明能够以更快、更经济的方式生成高质量图像。

Nota AI 的 BK-SDM-Small

另一个广泛用于 T2I 生成的精炼版 SD 模型来自 Nota AI，名为 Block-removed Knowledge-distilled Stable Diffusion Model (BK-SDM)。它代表了 SDM 的一个结构优化版本，旨在实现高效的通用文本到图像合成。其架构特点在于：

  1. 从 Stable Diffusion v1.4 的 U-Net 中移除了多个残差块和注意力块。
  2. 仅使用 0.22M LAION 图像对进行蒸馏预训练，这不到完整训练集的 0.1%。

尽管训练资源受到严格限制，但这个紧凑模型通过有效的知识迁移，展现了模仿原始 SDM 的能力。

精炼版真的快吗？性能对比实测！

现在问题来了，这些精炼版 SD 模型真的那么快吗？眼见为实，我们来实测一下！

在本次评估中，我将对比四个扩散模型家族的成员：segmind/SSD-1B、stabilityai/stable-diffusion-xl-base-1.0、nota-ai/bk-sdm-small 和 CompVis/stable-diffusion-v1-4。想了解 SSD-1B 和 SDXL 的详细对比分析，你可以点击 Segmind 官方博客。

首先，加载所有模型进行对比：

import torch
import time
import ipyplot

from diffusers import StableDiffusionPipeline, StableDiffusionXLPipeline, DiffusionPipeline

在下面的代码片段中，我们将使用 Stable Diffusion 家族中的四个不同预训练模型来创建文本到图像合成的流水线。

# 使用 nota-ai 的 "bk-sdm-small" 模型创建文本到图像合成流水线
distilled = StableDiffusionPipeline.from_pretrained(
    "nota-ai/bk-sdm-small", torch_dtype=torch.float16, use_safetensors=True,
).to("cuda")

# 使用 CompVis 的 "stable-diffusion-v1-4" 模型创建文本到图像合成流水线
original = StableDiffusionPipeline.from_pretrained(
    "CompVis/stable-diffusion-v1-4", torch_dtype=torch.float16, use_safetensors=True,
).to("cuda")

# 使用 stabilityai 的原始 "stable-diffusion-xl-base-1.0" 模型创建文本到图像合成流水线
SDXL_Original = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16,
    use_safetensors=True, variant="fp16"
).to("cuda")

# 使用 segmind 的原始 "SSD-1B" 模型创建文本到图像合成流水线
ssd_1b = StableDiffusionXLPipeline.from_pretrained(
    "segmind/SSD-1B", torch_dtype=torch.float16, use_safetensors=True,
    variant="fp16"
).to("cuda")

请注意： 所有模型流水线不应包含在同一个单元格中，否则可能会遇到内存不足的问题。建议逐个加载和测试。

模型加载和流水线创建完成后，我们将使用这些模型生成几张图片，并记录每个模型的推理时间。

模型 推理时间
stabilityai/stable-diffusion-xl-base-1.0 82212.8 ms (≈ 82.2秒)
segmind/SSD-1B 59382.0 ms (≈ 59.4秒)
CompVis/stable-diffusion-v1-4 15356.6 ms (≈ 15.4秒)
nota-ai/bk-sdm-small 10027.1 ms (≈ 10.0秒)

从结果来看，nota-ai/bk-sdm-small 模型花费的推理时间最短，而且它生成的图像质量也相当不错。这充分证明了知识蒸馏（KD）模型相对于原始模型在效率上的巨大优势！

以下是各个模型生成图像的示例：

stabilityai/stable-diffusion-xl-base-1.0 生成图像： SDXL Original Image

segmind/SSD-1B 生成图像： SSD-1B Image

CompVis/stable-diffusion-v1-4 生成图像： SD v1-4 Image

nota-ai/bk-sdm-small 生成图像： BK-SDM Small Image

常见问题解答 (FAQs)

1. 什么是精炼版 Stable Diffusion？

精炼版 Stable Diffusion 是原始 Stable Diffusion 模型的一个更轻量、更快速的版本。通过**模型蒸馏（Model Distillation）**过程，它在保持高质量图像生成能力的同时，减少了模型的大小和复杂性。这使得它在有限的 GPU 硬件上运行更加高效和容易。

2. 模型蒸馏如何提升性能？

模型蒸馏是将一个大型模型（“教师模型”）的知识迁移到一个小型模型（“学生模型”）的过程。学生模型通过更少的参数来模仿教师模型的性能。这个过程能显著提高推理速度、降低内存使用量和减少计算成本，使其适用于实时应用。

3. 为什么要将精炼版 Stable Diffusion 与 Gradio 集成？

Gradio 提供了一个简单、用户友好的界面来部署机器学习模型。通过 Gradio，用户无需专业的编码知识，即可输入文本提示并即时查看生成的图像。它还使得通过链接共享演示或将其嵌入到应用程序中变得非常容易，从而促进了协作和可访问性。

4. 与原始模型相比，使用精炼版 Stable Diffusion 有哪些优势？

主要优势包括：

  • 更快的推理速度（更快地生成图像）。
  • 更低的硬件要求，使其可以在消费级 GPU 或云 GPU 上运行。
  • 云计算部署的成本效益。
  • 更广泛的可访问性，让更多人能够体验生成式 AI。

5. 有哪些实际应用场景？

精炼版 Stable Diffusion 可以应用于：

  • 创意艺术（数字绘画、概念艺术、设计原型）。
  • 市场营销与广告（为营销活动生成视觉内容）。
  • 电子商务（产品可视化）。
  • 教育与研究（使用轻量级模型解释生成式 AI 概念）。

6. 如果我没有强大的 GPU，如何运行精炼版 Stable Diffusion？

你可以使用云 GPU 服务，例如 DigitalOcean Gradient™ AI GPU Droplets，它们提供灵活的高性能 GPU 访问，无需前期投入。这使得你可以轻松训练或部署精炼模型，并按使用量付费。

结语

在这篇文章中，我们简要回顾了 Stable Diffusion 模型，并深入探讨了精炼版 Stable Diffusion 的概念。Stable Diffusion 无疑是一种强大的技术，能通过简单的提示词生成新颖图像。更令人兴奋的是，我们通过对比实验发现，bk-sdm-small 这类精炼模型展现了最短的推理时间，这充分证明了知识蒸馏模型在效率上的卓越表现。

当然，我们也要理性看待精炼模型的一些局限性。首先，它们可能无法达到完美照片级别的真实感，也难以清晰地渲染可读文本。此外，在处理需要复杂组合理解的任务时，模型的性能可能会有所下降。人脸和一般的人体表示也可能不够精确。值得注意的是，由于模型的训练数据主要由英文描述组成，因此在应用于其他语言时，效果可能会打折扣。

最后，我想强调一点：请务必确保我们使用的模型不会被用于生成令人不安、痛苦或具有冒犯性的图像。核心优势在于，这些高性能模型的精炼版本在大幅降低计算需求的同时，依然能够保持高质量的图像生成能力，这对于普及和 democratize AI 绘画技术至关重要。

希望这篇文章能让你对精炼版 Stable Diffusion 有了更深入的理解，并激励你亲自尝试，体验 AI 带来的无限创意！

参考资料

关于

关注我获取更多资讯

公众号
📢 公众号
个人号
💬 个人号

本文链接地址：https://blog.eimoon.com/p/distilled-stable-diffusion-gradio-deployment/

作者：eimoon.com

分享转载说明：本文由作者原创，转载请注明出处。

© 2023 - 2025 longlikun
使用 Hugo 构建
主题 Stack 由 Jimmy 设计