前言
上一节中我们介绍了如何在ComfyUI中实现高清修复增强细节
本文我们主要介绍LoRA模块的使用。
LoRA的微调能力效果,未来的发展趋势始终是个大的方向。更多的LoRA内容我们可以参考后续的中级课程LoRA深度内容。
本文主要在ComfyUI的体系中如何使用LoRA模块,会和RA/SD下有所不同,你也可以具体掌握LoRA在整个流转控制中的输入输出。
本文知识点
- ComfyUI中使用LoRA
基础知识
关于LoRA在RA/SD中的情况和使用,课程,可以参考:2-11 LoRA的概念和常用推荐
稍微复习下
①LoRA:Low-Rank Adaptation Models(低秩适应模型),他的核心思想是在不显著改变原有模型结构的情况下,通过添加一些额外的、低秩(即简化的)矩阵来调整模型的权重,从而提升模型的性能或适应性。
②在微调 Stable Diffusion 模型的情况下,相较于大模型的 Dreambooth(训练方法,输出 Checkpoint 模型)的全面微调模型方法,Lora 的训练参数可以减少很多倍,对硬件性能的要求也降低很多。
具体步骤
第一步
如何在Paragoger CU中使用LoRA。 我们已经在Paragoger CU中内置了下面的模型,大家不需要重复下载。节约大家时间。
我们用这个LoRA模型
https://civitai.com/models/12597/moxin

可以看到, 触发的词汇是
SHUIMOBYSIM
WUCHANGSHUO
BONIAN
ZHENBANQIAO
BADASHANREN
第二步:
下载模型后,放到目录下RA2Win\ComfyUI\models\loras 下。 这个和RA/SD是有点不同的。要注意。
模型仿制好后,在Load LoRA面板中(如无可新建,类似下一步开头的新建)选择LoRA模型。
设置几个参数。

第三步
增加 Load LoRA面板 ,左边的输入model选择大模型,左侧的clip 选择大模型的输出clip , LoRA面板的输出Model给采样器。Clip给CLIP面板
由此可见重要的一点是:
LoRA的介入后,在原先大模型和后续的CLIP面板和采样器面板中加入了一道处理工序。
截图中的,1,2,3,4,5代表了顺序的流转方式,这应该也是Paragoger CU的魅力所在。

如果调用多个LoRA,只需要添加多个对应的LoadLoRA面板即可,同时这几个面板的连接,类似串联一样,后面的输入直接连前面的输出即可。
小技巧:
当我们的LoRA面板很多的时候,界面会非常的乱,此时可以使用一个高效的插件,LoRA面板堆的管理。
https://github.com/jags111/efficiency-nodes-comfyui.git
最终完成流程图

最终效果图,这个花瓶,看上去都有了中国古典水墨风格了。
强扭的瓜真现实啊。

RA/SD 衍生者AI训练营。发布者:稻草人,转载请注明出处:https://www.shxcj.com/6-8-%e5%9c%a8ra-cu%e4%b8%ad%e6%90%ad%e5%bb%balora%e6%a8%a1%e5%9d%97/