前言：
上一章，我们介绍Extras面板中的功能
本章，我们介绍LoRA 玩转各种画风
之前我们讲到过大模型微调技术能力的几个点，比如超网络，Embedding等，当然最主流的看来还是LoRA了。在C站上你可以看到大量的LoRA模型制作出来的非常酷炫或者古风的效果。
当然高级课程中我们会详细的介绍LoRA的技术原理，算法实现等。我们在本节的初级课程中，稍微介绍简单使用LoRA的内容，给大家一个相对直观的第一感受。
知识点：
- 炼丹
- LoRA
基础知识：
LoRA模型改变画风的原理和过程：
LoRA 模型的基本原理
- 低秩分解（Low-Rank Decomposition）：
- LoRA通过对预训练模型参数进行低秩分解，将参数矩阵分解为两个更小的矩阵。这种分解使得模型参数的调整变得更加高效，参数数量显著减少。
- 假设原始参数矩阵为 𝑊W，LoRA 将其分解为两个低秩矩阵 𝐴A 和 𝐵B 使得 𝑊≈𝐴×𝐵W≈A×B，其中 𝐴A 和 𝐵B 的维度远小于 𝑊W。
- 参数调整和微调（Parameter Adjustment and Fine-Tuning）：
- 在低秩分解之后，LoRA只对这两个小矩阵 𝐴A 和 𝐵B 进行微调，而不是对整个参数矩阵 𝑊W 进行微调。这大大降低了模型调整的复杂性和计算成本。
- 微调的过程使得模型能够在特定的任务或数据集上进行细化，例如改变图像的风格。
- 模型合成（Model Synthesis）：
- 调整后的 𝐴A 和 𝐵B 矩阵重新组合形成新的参数矩阵，用于生成图像。通过调整这些低秩矩阵，模型能够生成具有不同风格的图像。
LoRA 改变画风的具体过程
- 选择预训练模型：
- 使用一个预先训练好的生成模型，如RA/SD，这个模型已经在大规模数据集上进行了训练，具有生成高质量图像的能力。
- 低秩分解：
- 对预训练模型的关键参数进行低秩分解，获得低秩矩阵 𝐴A 和 𝐵B。
- 风格数据集微调：
- 使用一个特定风格的图像数据集对 𝐴A 和 𝐵B 进行微调。这些图像可以是特定艺术家的作品、特定风格的绘画等。
- 生成新的图像：
- 将微调后的 𝐴A 和 𝐵B 矩阵应用于生成模型，生成具有目标风格的图像。通过这种方式，模型能够在保持原始生成能力的基础上，生成出带有特定风格特征的图像。
LoRA 改变画风
我们之前有基础课程，介绍了LoRA的基础知识和它和其余模型类型的区别。 2-11 LoRA的概念和常用推荐
下面，我们来实战下，看看效果。
下载卡通大模型, 并选择后使用
https://civitai.com/models/7240/meinamix
2img2img中选择真人图，配置好关键字和反向关键字
3Denoising strength 这个是关键设置0.3为分界点。大于则更不像，基本 上0.7 以上就完全不像了。一般我选择0.37 左右。
心得：
- 貌似原图的关键字，权重不是那么重要。用我原先定义了的。区别不大。
- 模型的影响是有的。出去上面用的那个模型，换成其余的都是可以的，效果有所差异。但不是说要做成卡通就必须是上面的那个模型。
另外的小技巧
使用任意一个大模型，生成逼近真人的原始图像，用图生图的能力，此时选择【扁平风格插画(支持照片转绘)_v1.0】的LoRA模型微调，同样得到卡通风格。
总结
LoRA的强大，在于它本身很小，然后却可以撬动大模型的表现。
本章简单的展示了它强大能力的冰山一角。后续我们的展示课程中，将大规模展示它的能力效果。 同时，我们也会在高级课程中，教大家如何炼丹和更多深层次内容。
RA/SD 衍生者AI训练营。发布者：chris，转载请注明出处：https://www.shxcj.com/archives/1009
