第 1章 AIGC基础 1
1.1 身边的AIGC 1
1.1.1 图像生成和编辑类工具 1
1.1.2 文字提效类工具 2
1.1.3 音频创作类工具 4
1.2 神经网络 4
1.2.1 人工神经元 5
1.2.2 激活函数 6
1.2.3 人工神经网络 7
1.2.4 损失函数 9
1.2.5 优化器 9
1.2.6 卷积神经网络 10
1.3 多模态模型 13
1.3.1 认识模态 14
1.3.2 典型多模态模型 15
1.3.3 参数量 16
1.3.4 计算量 17
1.4 小结 17
第 2章 图像生成模型：GAN和扩散模型 19
2.1 图像生成模型的技术演化 19
2.1.1 第 一代图像生成模型：VAE 20
2.1.2 第二代图像生成模型：GAN 20
2.1.3 第三代图像生成模型：基于流的模型 21
2.1.4 第四代图像生成模型：扩散模型 21
2.1.5 第五代图像生成模型：自回归模型 22
2.2 “旧画师”GAN 22
2.2.1 生成对抗原理 22
2.2.2 生成能力的进化 24
2.2.3 GAN时代的“图生图” 28
2.2.4 GAN的技术应用 30
2.3 “新画师”扩散模型 31
2.3.1 加噪过程：从原始图像到噪声图 32
2.3.2 去噪过程：从噪声图到清晰图像 33
2.3.3 训练过程和推理过程 35
2.3.4 扩散模型与GAN 36
2.4 扩散模型的U-Net模型 37
2.4.1 巧妙的U形结构 37
2.4.2 损失函数设计 41
2.4.3 应用于扩散模型 43
2.5 扩散模型的采样器 43
2.5.1 采样器背后的原理 44
2.5.2 如何选择采样器 45
2.6 训练一个扩散模型 46
2.6.1 初探扩散模型：轻松入门 46
2.6.2 深入扩散模型：定制艺术 50
2.7 小结 52
第3章 Stable Diffusion的核心技术 53
3.1 图像的“压缩器”VAE 53
3.1.1 从AE到VAE 54
3.1.2 图像插值生成 58
3.1.3 训练“餐厅评论机器人” 60
3.1.4 VAE和扩散模型 61
3.2 让模型“听话”的CLIP 62
3.2.1 连接两种模态 62
3.2.2 跨模态检索 64
3.2.3 其他CLIP模型 67
3.2.4 CLIP和扩散模型 68
3.3 交叉注意力机制 69
3.3.1 序列、词符和词嵌入 69
3.3.2 自注意力与交叉注意力 71
3.3.3 多头注意力 72
3.4 Stable Diffusion是如何工作的 77
3.4.1 Stable Diffusion的演化之路 77
3.4.2 潜在扩散模型 78
3.4.3 文本描述引导原理 80
3.4.4 U-Net模型实现细节 82
3.4.5 反向描述词与CLIP Skip 86
3.4.6 “图生图”实现原理 87
3.5 小结 90
第4章 DALL·E 2、Imagen、DeepFloyd和Stable Diffusion图像变体的
核心技术 91
4.1 里程碑DALL·E 2 91
4.1.1 DALL·E 2的基本功能概览 91
4.1.2 DALL·E 2背后的原理 94
4.1.3 unCLIP：图像变体的魔法 97
4.1.4 DALL·E 2的算法局限性 97
4.2 Imagen和DeepFloyd 98
4.2.1 Imagen vs DALL·E 2 98
4.2.2 Imagen的算法原理 99
4.2.3 文本编码器：T5 vs CLIP 100
4.2.4 动态阈值策略 103
4.2.5 开源模型DeepFloyd 104
4.2.6 升级版Imagen 2 107
4.3 Stable Diffusion图像变体 107
4.3.1 “图生图”vs图像变体 107
4.3.2 使用Stable Diffusion图像变体 108
4.3.3 探秘Stable Diffusion图像变体模型背后的算法原理 110
4.4 小结 112
第5章 Midjourney、SDXL和DALL·E 3的核心技术 113
5.1 推测Midjourney的技术方案 113
5.1.1 Midjourney的基本用法 113
5.1.2 各版本演化之路 114
5.1.3 技术方案推测 117
5.2 SDXL的技术方案与使用 120
5.2.1 惊艳的绘图能力 120
5.2.2 使用级联模型提升效果 122
5.2.3 更新基础模块 123
5.2.4 使用SDXL模型 124
5.3 更“听话”的DALL·E 3 126
5.3.1 体验DALL·E 3的功能 126
5.3.2 数据集重新描述 127
5.3.3 生成数据有效性 128
5.3.4 数据混合策略 129
5.3.5 基础模块升级 131
5.3.6 扩散模型解码器 133
5.3.7 算法局限性 133
5.4 小结 134
第6章 训练自己的Stable Diffusion 135
6.1 低成本训练神器LoRA 135
6.1.1 LoRA的基本原理 135
6.1.2 LoRA的代码实现 136
6.1.3 用于图像生成任务 138
6.2 Stable Diffusion WebUI体验图像生成 139
6.2.1 本地AI图像生成模型 140
6.2.2 开源社区中的模型 142
6.2.3 体验AI图像生成功能 143
6.2.4 将多个模型进行融合 144
6.2.5 灵活的LoRA模型 146
6.3 Stable Diffusion代码实战 150
6.3.1 训练数据准备 151
6.3.2 基础模型的选择与使用 154
6.3.3 一次完整的训练过程 155
6.4 小结 157
