图像生成核心 20% — 会调三个旋钮就够用了
一句话：今天做图像生成，技术选择已基本没有悬念（扩散 + 条件控制）。真正的门槛是把三个旋钮调对：采样步数、引导强度、随机种子之外的结构控制。
🎯 这 20% 能解决哪些问题
| 常见困惑 | 本质 | 本页答案 |
|---|
| GAN、VAE、扩散该学哪个 | 主流已收敛 | 见「三代生成模型」 |
| 出的图和提示对不上 | 引导强度与提示结构问题 | 见「三个旋钮」 |
| 想要固定人物/产品形象 | 需要身份一致性方案 | 见「控制的三条路」与「训练一个 LoRA 的最低要求」 |
| 构图完全不可控 | 缺少结构条件 | 见「控制的三条路」 |
| 生成文字总是乱码 | 文本渲染是独立能力 | 见「六个高频坑」 |
一、三代生成模型
graph LR
A["VAE<br/>隐变量重建<br/>易模糊"] --> B["GAN<br/>对抗训练<br/>快但难训"]
B --> C["扩散模型<br/>逐步去噪<br/>质量稳定"]
C --> D["潜空间扩散 + 条件控制<br/>Stable Diffusion 系"]
| 模型 | 训练方式 | 优点 | 缺点 |
|---|
| VAE | 重建 + KL 约束 | 有连续隐空间 | 图像偏糊 |
| GAN | 生成器 vs 判别器 | 采样快、清晰 | 模式崩塌、训练不稳 |
| 扩散 | 学”加噪的反过程” | 质量高、可控性强 | 采样慢 |
| 潜空间扩散 | 在 VAE 隐空间去噪 | 兼顾速度与质量 | 依赖 VAE 质量 |
扩散为什么赢：目标函数简单（回归噪声）、训练稳定、天然支持条件控制（分类器引导/无分类器引导），而且质量随算力可预测地提升。
二、三个旋钮
| 旋钮 | 作用 | 调节方向 |
|---|
| 采样步数 | 去噪迭代次数 | 20–30 步常够；步数过多收益递减 |
| 引导强度（CFG） | 贴合提示的力度 | 7–9 常规；过高画面过饱和、崩坏 |
| 分辨率/长宽比 | 与训练分布匹配度 | 用模型原生分辨率；大图用分块或放大模型 |
CFG 的本质：同时算”有提示”和”无提示”的预测，再做外推。所以 CFG 过高等于过度外推 → 颜色失真、构图僵硬。
三、控制的三条路
| 手段 | 控制什么 | 成本 |
|---|
| 提示工程 | 内容与风格（弱控制） | 最低 |
| ControlNet（边缘/深度/姿态） | 结构与构图（强控制） | 中，需条件图 |
| LoRA / 微调 | 身份、风格、特定概念 | 中高，需训练 |
身份一致性的实用组合：LoRA（或 IP-Adapter 类参考图方案）+ 固定种子 + 提示模板。单靠提示词无法稳定复现同一张脸。
四、训练一个 LoRA 的最低要求
| 项 | 建议 |
|---|
| 数据量 | 15–30 张多样角度（人脸需包含不同光照与表情） |
| 分辨率 | 与底模一致（如 1024） |
| 标注 | 每张写清”变化的部分”，固定部分不写 |
| 过拟合信号 | 换个提示仍只出原图 → 训练过度 |
| 验证 | 用未出现在训练集的提示测试泛化 |
五、FID 不能告诉你的
| 指标 | 衡量 | 盲区 |
|---|
| FID | 生成分布与真实分布距离 | 不衡量提示一致性、不衡量单图质量 |
| CLIP Score | 图文匹配 | 偏好短提示，忽略细节 |
| 人工评分 | 综合体验 | 成本高、主观 |
实用做法：FID 只看趋势（同模型不同超参），对外一律用”人工盲评 + 任务级验收”（如广告图能否过审）。
六、六个高频坑
| 坑 | 表现 | 纠正 |
|---|
| 提示越长越好 | 关键词互相冲突 | 分层写：主体 → 动作 → 环境 → 风格 → 质量词 |
| 生成文字乱码 | 文本渲染能力弱 | 用支持文字的模型或后期排版 |
| 手部畸形 | 训练数据与结构建模不足 | 用姿态/深度的 ControlNet 约束 |
| 版权来源不明 | 训练集含受保护作品 | 商用前做法务评估，建立来源记录 |
| 放大后变糊 | 直接拉伸 | 用专用超分/放大模型 |
| 忽略随机性 | 一次不满意就换模型 | 同提示多采样 + 选优（best-of-N） |
七、工程化落地清单
| 环节 | 动作 |
|---|
| 提示管理 | 版本化提示模板，记录对应参数与种子 |
| 可复现 | 保存模型哈希 + 种子 + 采样器 + 步数 |
| 审核 | 输出侧接安全过滤与人工抽检 |
| 成本 | 缓存热门组合，批处理生成 |
| 合规 | 记录训练数据来源与授权，标注 AI 生成 |
📋 一页速查
| 问题 | 答案 |
|---|
| 现在主流是什么 | 潜空间扩散 + 条件控制 |
| 采样步数 | 20–30 步常够 |
| CFG 常规范围 | 7–9 |
| 想固定人物用什么 | LoRA / 参考图方案 |
| 想控制构图用什么 | ControlNet |
| FID 能衡量提示一致性吗 | 不能 |
🔗 相关链接