3.1.1 大模型合并Checkpoint Merger

前言:

第三章,我们介绍了基本的图生图能力

本章,我们提供更多的免费课程,让大家在某些细节上面掌握更多。

总体来看,当我们使用某一个主模型的时候,针对该模型方向的内容生成基本是OK的。但是当我们需要2个模型中的内容的时候,就尴尬了。解决这个问题是将2个模型合并。

RA/SD中内置有这个功能。我们本节就来详细介绍下。

知识点:

  1. 主模型合并

基础知识:

模型合并可让您使用不同的模型生成多个合并来完善您的 AI 图像。使用此功能,合并最多三个模型,包括自己训练的模型。合并首选检查点后,最终合并将在检查点目录中生成。

稳定扩散提供了几个独特的检查点,可以将其与此功能合并。了解这些检查点,以便 AI 图像生成需求选择合适的检查点。

另外我们介绍下主要得主模型扩展名和对应得区别。

.ckpt.safetensors是两种常见的模型检查点文件格式,在保存和加载深度学习模型时有不同的特点和用途。

以下是这两种格式的区别:

.ckpt 文件

  1. 格式.ckpt文件通常是用PyTorch的torch.save函数生成的,是一种通用的二进制文件格式。
  2. 灵活性:它可以保存整个模型,包括模型结构、权重、优化器状态等。
  3. 兼容性.ckpt文件广泛用于各种深度学习框架,尤其是PyTorch。
  4. 安全性:因为是二进制格式,所以文件可以包含任意的Python对象,这在一定程度上也意味着存在潜在的安全风险(例如,加载未受信任的.ckpt文件可能导致任意代码执行)。
  5. 大小.ckpt文件可能包含不必要的元数据,导致文件较大。

.safetensors 文件

  1. 格式.safetensors是一个专门设计用于安全高效地存储张量数据的文件格式。
  2. 安全性.safetensors文件格式只允许存储张量数据,不包含任意的Python对象,因此更加安全,避免了执行恶意代码的风险。
  3. 效率:由于只存储必要的张量数据,文件通常比.ckpt更小,同时读取和写入速度更快。
  4. 易用性:专为高效和安全而设计,但需要专门的库来读写,例如safetensors库。

如何选择

  • 安全性:如果你需要从不信任的来源加载模型,或者你的应用环境对安全性有高要求,推荐使用.safetensors
  • 兼容性和灵活性:如果你需要保存和加载复杂的模型对象,或者使用的框架主要支持.ckpt,那么.ckpt可能更适合你。
  • 性能:如果对文件大小和读写速度有较高要求,可以考虑使用.safetensors

实战教学:

  1. 访问检查点合并:
    • 首先,打开RA/SD界面。
    • 从可用选项卡中找到并选择“Checkpoint Merger”。
3.1.1 大模型合并Checkpoint Merger
  1. 选择检查点:
    • 您将看到三个用于选择检查点的下拉菜单。
    • 模型 A是您想要改进的主要模型。
    • 模型 B 和 C是您将集成到模型 A 中的模型。
3.1.1 大模型合并Checkpoint Merger

  1. 了解滑块:
    • 下拉菜单下方有一个代表合并百分比的滑块。
    • 范围从 0 (0%) 到 1 (100%),其中 0.50 表示 50%。
    • 从较小的百分比开始(例如 0.3)至关重要,尤其是当您刚开始尝试合并时。
3.1.1 大模型合并Checkpoint Merger

  1. 选择合并选项:(插值方法)
    • 如果您不选择任何插值,您将直接获得模型 A,而不会发生任何变化。也就是第一个选择项。
    • 要混合两个模型,请选择加权总和选项。这将决定模型 B 与模型 A 的混合程度,由滑块设置决定。
    • 当将另外两个模型(B 和 C)混合到模型 A 中时,应该使用“添加差异”。也就是默认选择项。中间这个[Weighted sum]
3.1.1 大模型合并Checkpoint Merger

  1. 其他设置:
    • 您可以选择 CKPT 或 safetensons 格式。两种格式都很好,所以这取决于个人喜好。
    • 确定要为合并模型保留哪个模型的配置。
3.1.1 大模型合并Checkpoint Merger

  1. 命名您的检查点:
    • 最后,命名您的新检查点。
    • 一个好的做法是在名称中包含有关合并模型的详细信息。这样,您以后就可以轻松记住每个合并模型的具体信息。
3.1.1 大模型合并Checkpoint Merger

还有剩余得一些配置:

  1. 从ABC哪个模型复制Config文件
  2. 在VAE中烘焙
  3. 无视权重等等。
3.1.1 大模型合并Checkpoint Merger

总结: 

请记住,成功合并检查点的关键是实验。从一小部分开始,创建多个合并,并检查 xyz 图以了解最佳组合。通过练习,您将找到满足您需求的完美组合。

RA/SD 衍生者AI训练营。发布者:chris,转载请注明出处:https://www.shxcj.com/archives/2506

Like (1)
Previous 2024-05-27 5:35 下午
Next 2024-05-31 12:05 上午

相关推荐

发表回复

Please Login to Comment
本文授权以下站点有原版访问授权 https://www.shxcj.com https://www.2img.ai https://www.2video.cn