前言:
第三章,我们介绍了基本的图生图能力
本章,我们提供更多的免费课程,让大家在某些细节上面掌握更多。
总体来看,当我们使用某一个主模型的时候,针对该模型方向的内容生成基本是OK的。但是当我们需要2个模型中的内容的时候,就尴尬了。解决这个问题是将2个模型合并。
RA/SD中内置有这个功能。我们本节就来详细介绍下。
知识点:
- 主模型合并
基础知识:
模型合并可让您使用不同的模型生成多个合并来完善您的 AI 图像。使用此功能,合并最多三个模型,包括自己训练的模型。合并首选检查点后,最终合并将在检查点目录中生成。
稳定扩散提供了几个独特的检查点,可以将其与此功能合并。了解这些检查点,以便 AI 图像生成需求选择合适的检查点。
另外我们介绍下主要得主模型扩展名和对应得区别。
.ckpt
和.safetensors
是两种常见的模型检查点文件格式,在保存和加载深度学习模型时有不同的特点和用途。
以下是这两种格式的区别:
.ckpt
文件
- 格式:
.ckpt
文件通常是用PyTorch的torch.save
函数生成的,是一种通用的二进制文件格式。 - 灵活性:它可以保存整个模型,包括模型结构、权重、优化器状态等。
- 兼容性:
.ckpt
文件广泛用于各种深度学习框架,尤其是PyTorch。 - 安全性:因为是二进制格式,所以文件可以包含任意的Python对象,这在一定程度上也意味着存在潜在的安全风险(例如,加载未受信任的
.ckpt
文件可能导致任意代码执行)。 - 大小:
.ckpt
文件可能包含不必要的元数据,导致文件较大。
.safetensors
文件
- 格式:
.safetensors
是一个专门设计用于安全高效地存储张量数据的文件格式。 - 安全性:
.safetensors
文件格式只允许存储张量数据,不包含任意的Python对象,因此更加安全,避免了执行恶意代码的风险。 - 效率:由于只存储必要的张量数据,文件通常比
.ckpt
更小,同时读取和写入速度更快。 - 易用性:专为高效和安全而设计,但需要专门的库来读写,例如
safetensors
库。
如何选择
- 安全性:如果你需要从不信任的来源加载模型,或者你的应用环境对安全性有高要求,推荐使用
.safetensors
。 - 兼容性和灵活性:如果你需要保存和加载复杂的模型对象,或者使用的框架主要支持
.ckpt
,那么.ckpt
可能更适合你。 - 性能:如果对文件大小和读写速度有较高要求,可以考虑使用
.safetensors
。
实战教学:
,
- 访问检查点合并:
- 首先,打开RA/SD界面。
- 从可用选项卡中找到并选择“Checkpoint Merger”。
- 选择检查点:
- 您将看到三个用于选择检查点的下拉菜单。
- 模型 A是您想要改进的主要模型。
- 模型 B 和 C是您将集成到模型 A 中的模型。
- 了解滑块:
- 下拉菜单下方有一个代表合并百分比的滑块。
- 范围从 0 (0%) 到 1 (100%),其中 0.50 表示 50%。
- 从较小的百分比开始(例如 0.3)至关重要,尤其是当您刚开始尝试合并时。
- 选择合并选项:(插值方法)
- 如果您不选择任何插值,您将直接获得模型 A,而不会发生任何变化。也就是第一个选择项。
- 要混合两个模型,请选择加权总和选项。这将决定模型 B 与模型 A 的混合程度,由滑块设置决定。
- 当将另外两个模型(B 和 C)混合到模型 A 中时,应该使用“添加差异”。也就是默认选择项。中间这个[Weighted sum]
- 其他设置:
- 您可以选择 CKPT 或 safetensons 格式。两种格式都很好,所以这取决于个人喜好。
- 确定要为合并模型保留哪个模型的配置。
- 命名您的检查点:
- 最后,命名您的新检查点。
- 一个好的做法是在名称中包含有关合并模型的详细信息。这样,您以后就可以轻松记住每个合并模型的具体信息。
还有剩余得一些配置:
- 从ABC哪个模型复制Config文件
- 在VAE中烘焙
- 无视权重等等。
总结:
请记住,成功合并检查点的关键是实验。从一小部分开始,创建多个合并,并检查 xyz 图以了解最佳组合。通过练习,您将找到满足您需求的完美组合。
RA/SD 衍生者AI训练营。发布者:chris,转载请注明出处:https://www.shxcj.com/archives/2506