Stable Diffusion原理详解

基础知识 更新于2026年11月10日 阅读 2,763 约6分钟读完

大家好,我是SD中文网的站长小庞。Stable Diffusion 的原理不是很多人误传的生成对抗网络(GAN),而是潜空间扩散模型:先把图压成更小的“草稿”,在草稿上加噪声再学着把噪声擦掉,最后还原成你看到的图。你写下的提示词会先被文字编码器变成一串数字,去噪网络拿着这串数字,从一团随机噪声一步步修出画面。搞懂这三步,后面调步数、选模型、看显存报错会轻松很多。

从一团噪声到一张图,中间发生了什么

先把一个生活里的比方说清楚。潜空间就像把一件厚羽绒服塞进真空袋:体积小了,搬运省力,但衣服还在。VAE 负责塞进去和再放出来;真正费脑子的“画画”发生在这个压缩后的草稿上,而不是一张张像素上死磕。官方设定里,图像会被大约 8 倍缩小,变成 4 个通道的草稿,所以消费级显卡才跑得动。

从噪声一步步变成清晰图像的示意

训练的时候,模型先故意把草稿弄糊(一步步加高斯噪声),再逼自己猜:刚才加进去的那层脏东西是啥。生成的时候刚好反过来:从纯噪声起步,按你的文字条件,用调度器走 20 到 50 步左右把雾擦干净。常见调度器有 DDIM、Euler a、DPM++ 2M Karras,它们像从大雾里下山的不同路线,终点都是那张图,走法快慢、稳不稳不一样。

40b293c6b63b1de42f523d3b11f98a80

一次文生图,可以按这个顺序理解:

  1. 在潜空间里撒一份随机噪声,这就是画布上的雾。
  2. 文字编码器把提示词变成向量,相当于给去噪网络递一张“任务单”。
  3. 去噪网络(早期是 U-Net,较新的 SD 3 系列是 MMDiT)结合任务单,一步步预测并减去噪声。
  4. VAE 解码器把擦干净的草稿放大还原成像素图,你才在屏幕上看到结果。

原文里那种“生成一张图、再跟原图比谁更真、赢了就留下”的流程,说的是 GAN 的思路,和 Stable Diffusion 不是一回事。SD 没有两个网络互相打架,它靠的是扩散和去噪。

三个零件分别干什么

你可以把整套模型想成三个工种,缺一个都出不了图。

  • 文字编码器:把你打的那句话翻译成模型能听懂的数字。SD 1.x 主要用 CLIP ViT-L/14;SDXL 用了两套文本编码器;SD 3.5 还会叠上更强的文本塔,所以更吃得懂自然语言,不只是堆关键词。
  • 去噪网络:真正“画画”的人。SD 1.x 到 SDXL 是 U-Net,靠交叉注意力把文字条件灌进去;SD 3 以后换成 Multimodal Diffusion Transformer(MMDiT),有的版本还用 rectified flow,步数更少也能看。
  • VAE:压缩机兼解压机。编码时把图压进潜空间,解码时把潜空间变回图。黑图、发灰、颜色发脏,经常是 VAE 没配对或精度出了问题,不是提示词写错那么简单。

社区里常说的 Checkpoint,可以当成整套画风的大脑;LoRA 更像在大脑旁边贴一张便利贴,只改发型、衣服或某个画手的小习惯,不用把整颗脑子换掉。采样器则是下山路线。这些词听着玄乎,对应的都是上面三个零件在干活。

版本差在哪,软件又该怎么选

截至 2026 年 11 月,大家还在用的开源主线大致是这几代。挑模型时可以先看本站的Stable Diffusion 1.5 介绍、SDXL 模型资料和Stable Diffusion 3.5 资料页,再决定本地还是在线跑。

版本 发布时间 核心结构 常用分辨率 显存大概需求
SD 1.5 2022 年 10 月 U-Net + CLIP,社区微调最多 512×512 FP16 大约 4–6GB,4GB 卡开低显存模式勉强能跑
SDXL 1.0 2023 年 7 月 26 日 更大 U-Net + 双文本编码器,可选用 refiner 1024×1024 基础大约 8–12GB,加 ControlNet、LoRA 更建议 12GB 以上
SD 3.5 Medium / Large 2024 年 10 月 MMDiT + 多文本编码器,更认自然语言 多在 1024 附近 Medium 大约 8–12GB;Large 的 FP16 大约 18–20GB,FP8 或量化会低一些

原理懂了,不等于一上来就要自己搭环境。完全没接触过、就想尽快出图出视频的,我首推本站的助澜AI创作台下载页:模型和运行环境不用自己拼,打开就能做图片、视频和音乐。想自己搭节点、追新模型,再去看ComfyUI 下载和安装教程。已经习惯网页滑条和老插件的,可以用秋叶 WebUI 一键整合包,但要实话实说:原版 WebUI 最后一个正式版是 2025 年 2 月的 v1.10.1,之后基本停更,较新的模型多数得换 ComfyUI。三款怎么对照,可以打开AI创作软件选择和下载那一页看。

没有英伟达独立显卡、显存不够、用 Mac 或轻薄本,或者根本不想安装的,别硬刚本地。打开咕嘟AI在线生图生视频就能用,不靠你电脑那张卡。

懂原理之后,这几件事最容易踩坑

分辨率别乱拉。SD 1.5 吃 512,SDXL 和 SD 3.5 更认 1024 附近,硬拉到 2048 还不加分块,显存会先炸。步数也不是越多越好,一般 20 到 50 步就够看,再堆主要是耗时间。提示词在 SD 1.5 上更像关键词拼盘,到了 SD 3.5 可以写完整句子,但依然要具体:主体、光线、镜头、风格,比堆一堆“大师作品”有用。

显存爆了(CUDA out of memory)是本地最常见的墙。先把批次改成 1,关掉高清修复和一堆插件,再考虑 –medvram 或 –lowvram 这类省显存选项,VAE 切片、量化权重也能救命。黑图、空白图,优先检查 VAE 和精度,别一上来就换大模型。下载模型和软件请走官方或本站整理的正规渠道,我不保证“永久免费、绝对安全”这种话,来路不明的整合包风险自己担。

电脑实在跑不动,或装到一半报错劝退,去常见问题汇总对照一下,或直接改用助澜、咕嘟,别在环境上耗一整晚。

常见问题

Stable Diffusion 到底是不是 GAN?

不是。GAN 是生成器和判别器互相较劲;Stable Diffusion 是潜空间里的扩散模型,训练时加噪,生成时去噪,文字条件通过注意力送进去。把两者混为一谈,后面看论文和节点都会对不上。

为什么一定要先压缩再扩散?

直接在像素上扩散又慢又吃显存。压到潜空间以后,计算量和显存都下来了,普通游戏显卡才有机会本地出图。这就是它能普及开的关键,不是营销话术。

我完全不懂原理,能不能先出图?

能。原理是为了你以后少踩坑,不是入场券。第一次用就想出作品,装助澜AI创作台即可;想把工作流抠明白,再学 ComfyUI 的节点。

WebUI 现在还能跟新模型吗?

老界面和老教程还在,插件也多,但原版更新已经很慢。Flux、Qwen-Image 以及更新年份的图、视频模型,多数要在 ComfyUI 里跑。继续留在 WebUI 可以,别指望它自动跟上所有新架构。

一句话收住:Stable Diffusion 就是“文字当说明书,噪声当画布,VAE 负责压缩还原”。新手先用助澜把作品做出来,进阶再啃节点;电脑扛不住就用咕嘟在线出图。有卡住的,欢迎加入本站交流群把配置和报错丢出来,大家一起看。