前言：

上一章，我们介绍了Embedding的技术内容

本章，我们介绍类似的一种技术，叫HyperNetwork

同样属于大模型微调技术，依附于扩散模型的总体框架下的技术细分能力，超网络可以说有较小的一席之地。

但我们的RA/SD既然演戏了这个控制微调能力的技术方向点，学习吸收下也是不错的选择。毕竟技多不压身。

知识点：

HyperNetwork
精调

hypernetworks

是一种fine tune的技术，最开始由novel AI开发。hypernetworks是一个附加到stable diffusion model上的小型网络，用于修改扩散模型的风格。

hypernetwork的应用领域较窄，主要是训练画风，训练难度很大，未来很有可能被后出现的LoRA所替代

既然Hypernetworks会附加到diffusion model上，那么会附加到哪一部分呢？答案仍然是UNet的cross-attention模块，Lora模型修改的也是这一部分，不过方法略有不同。

hypernetworks是一个很常见的神经网络结构，具体而言，是一个带有dropout和激活函数的全连接层。通过插入两个网络转换key和query向量，下面的两张图是添加Hypernetworks之前和之后的网络图

原始稳定扩散模型的交叉注意力模块。

超网络注入额外的神经网络来转换键和值。

具体有兴趣的同学，可以去原文读取更多内容： https://stable-diffusion-art.com/hypernetwork/

在训练期间stable diffusion model的参数被冻结，而Hypernetworks网络参数可以改变。

由于Hypernetworks参数量很小，在有限的资源下也可很快完成训练。在按默认的超参数配置的情况下Hypernetworks的文件大小在116Mb。

和Embedding的区别

embeddings: 是textual inversion方法的结果，和Hypernetworks方法一样，不会改变模型，会定义一些新的关键字实现某些样式。

embedding和Hypernetworks作用的地方不同。

embedding在text encoder中创造新的embedding达到左右模型生成图片的效果。根据一些参考资料，embedding的效果比Hypernetworks要稍好一些。

Hypernetwork 与其他模型的区别

Hypernetwork VS Checkpoint（大模型）

Checkpoint模型包含生成图像的所有必要信息，我们可以通过其文件大小来识别，Checkpoint 它们的体积范围从 2 GB 到 7 GB不等，Hypernetwork通常低于 200 MB。

Hypernetwork无法单独使用，它需要与checkpoint模型配合来生成图像。

Hypernetwork VS LoRA模型
Hypernetwork与LoRA 模型很相似，它们的文件大小相似，通常低于 200MB，都比checkpoint模型小。
有一个事实是：LoRA 模型比Hypernetwork模型效果更好。
Hypernetwork VS Embeddings
Embeddings是一种称为Textual Inversion”文本反转”的微调方法，它只是定义新的关键字来实现某些样式。与 HypernetworkEmbeddings一样，不会改变模型Embeddings和Hypernetwork适用于stable diffusion模型的不同部分。
Embeddings在文本编码器中创建新的嵌入。
Hypernetwork将一个小型网络插入噪声预测器的cross-attention模块中。

具体使用方法：

与 Embedding 模型一样，从网上下载下来后放入软件目录下/models/hypernetworks 目录中。所有的HyperNetworks模型都要求放置在该目录中。

然后，无需重启webUI，直接在模型处刷新即可出现。

然后在提示词输入中要用专门的格式书写出来： <hypernet:filename:multiplier> 其中 filename 是 Hypernetwork 超网络模型的文件名，不包括扩展名(. pt、 . bin )，multiplier 是应用于该超级网络模型的权重，默认值为 1，设置为 0 将禁用该模型。

我们去C站下载一个水元素的模型

https://civitai.com/models/1399/water-elemental ，然后放入软件目录下/models/hypernetworks 目录中

水元素是一个独特的超级网络，可以把任何东西变成完全是水质感的形态！在你要变成水质感形态的物体或人物的提示词前使用 “water elemental” 这个短语。记住，一定要单独描述一下背景。你可以通过改变超级网络的权重来调整水质感的效果。

这是模型的使用出发文字决定的。

关键字这样写：

water elemental woman walking across a busy street <hypernet:waterElemental_10:0.7>

（实际上此时<hypernet:waterElemental_10:0.7>这个删除都没有问题，因为关键字water elemental已经触发了）