6-8 在ComfyUI中搭建LoRA模块

前言

上一节中我们介绍了如何在ComfyUI中实现高清修复增强细节

本文我们主要介绍LoRA模块的使用。

LoRA的微调能力效果,未来的发展趋势始终是个大的方向。更多的LoRA内容我们可以参考后续的中级课程LoRA深度内容。

本文主要在ComfyUI的体系中如何使用LoRA模块,会和RA/SD下有所不同,你也可以具体掌握LoRA在整个流转控制中的输入输出。

本文知识点

  • ComfyUI中使用LoRA

基础知识

关于LoRA在RA/SD中的情况和使用,课程,可以参考:2-11 LoRA的概念和常用推荐

稍微复习下

①LoRA:Low-Rank Adaptation Models(低秩适应模型),他的核心思想是在不显著改变原有模型结构的情况下,通过添加一些额外的、低秩(即简化的)矩阵来调整模型的权重,从而提升模型的性能或适应性。

②在微调 Stable Diffusion 模型的情况下,相较于大模型的 Dreambooth(训练方法,输出 Checkpoint 模型)的全面微调模型方法,Lora 的训练参数可以减少很多倍,对硬件性能的要求也降低很多。

具体步骤

第一步

如何在Paragoger CU中使用LoRA。 我们已经在Paragoger CU中内置了下面的模型,大家不需要重复下载。节约大家时间。

我们用这个LoRA模型

https://civitai.com/models/12597/moxin

6-8 在ComfyUI中搭建LoRA模块

可以看到, 触发的词汇是 

SHUIMOBYSIM

WUCHANGSHUO

BONIAN

ZHENBANQIAO

BADASHANREN

第二步:

下载模型后,放到目录下RA2Win\ComfyUI\models\loras 下。 这个和RA/SD是有点不同的。要注意。

模型仿制好后,在Load LoRA面板中(如无可新建,类似下一步开头的新建)选择LoRA模型。

设置几个参数。

6-8 在ComfyUI中搭建LoRA模块

第三步

增加 Load LoRA面板 ,左边的输入model选择大模型,左侧的clip 选择大模型的输出clip , LoRA面板的输出Model给采样器。Clip给CLIP面板

由此可见重要的一点是:

LoRA的介入后,在原先大模型和后续的CLIP面板和采样器面板中加入了一道处理工序。

截图中的,1,2,3,4,5代表了顺序的流转方式,这应该也是Paragoger CU的魅力所在。 

6-8 在ComfyUI中搭建LoRA模块

如果调用多个LoRA,只需要添加多个对应的LoadLoRA面板即可,同时这几个面板的连接,类似串联一样,后面的输入直接连前面的输出即可。

小技巧:

当我们的LoRA面板很多的时候,界面会非常的乱,此时可以使用一个高效的插件,LoRA面板堆的管理。

https://github.com/jags111/efficiency-nodes-comfyui.git

最终完成流程图

6-8 在ComfyUI中搭建LoRA模块

最终效果图,这个花瓶,看上去都有了中国古典水墨风格了。

强扭的瓜真现实啊。

6-8 在ComfyUI中搭建LoRA模块

RA/SD 衍生者AI训练营。发布者:稻草人,转载请注明出处:https://www.shxcj.com/6-8-%e5%9c%a8ra-cu%e4%b8%ad%e6%90%ad%e5%bb%balora%e6%a8%a1%e5%9d%97/

(0)
上一篇 2024-05-27 5:33 下午
下一篇 2024-05-27 5:35 下午

相关推荐

发表回复

登录后才能评论
本文授权以下站点有原版访问授权 https://www.shxcj.com https://www.2img.ai https://www.2video.cn