前言

前面介绍的RA/SD已经非常强大，再搭配ControlNet期待会让你进入高手行列。

ControlNet是什么，我们需要学哪些，做到哪些是一个庞大的体系。甚至都可以和RA/SD并驾齐驱了。并且ControlNet也非常的通用。分别可以独立且兼容的运行在我们的RA/SD产品和RA/CU产品体系中。

实现同样的效果和满足类似的业务需求。ControlNet的课程相对很多，同时学习难度也有提升，需要你仔细吸收。

更多资源进 2img.ai ，更多技术资料请扫码

本文知识点

ControlNet是什么

目前ControlNet能做到骨骼绑定，精准控线，依据3D视图的法线进行绘图，线稿上色等。

ControlNet的绘画模式是：先让用户输入一张参考图，然后程序根据此图按一定的模式预处理一张新图，之后再由AI根据这两幅图绘制出成品；当然，用户可以关闭程序的预处理功能，直接输入一张用户自己处理好的图片当作预处理图，之后AI仅根据这副图生成成品。

ControlNet原理

目前 ControlNet 已经更新到 1.1 版本，相较于 1.0 版本，ControlNet1.1 新增了更多的预处理器和模型，原有的模型也通过更好的数据训练获得了更优的性能。

ControlNet GitHub链接： https://github.com/lllyasviel/ControlNet-v1-1-nightly

要注意的是，获取该库到插件目录下并不是安装的方式，你只需要 https://github.com/Mikubill/sd-webui-controlnet 然后按照指引操作即可。

然而你使用RA的话就无需这种操作，我们已经将该插件完好的整合进入了。同时已经内置了需要的一些插件模型，避免你在使用的时候还要实时的下载模型。

ControlNet 框架可以根据用户提供的提示和控制来生成高质量的图像，并且可以在特定任务中进行微调以提高性能。

各种效果见下图

它基于的Stable Diffusion 是一种用于图像生成和编辑的技术，它可以通过扩散过程来生成高质量、多样化的图像，并且可以通过附加小型神经网络来改变其艺术风格。

那ControlNet 和 HyperNetwork 之间有什么相似之处吗？

相似之处在于它们都可以影响神经网络的行为，从而实现特定任务的目标。

具体来说，HyperNetwork 使用一个小型的神经网络来影响一个更大的神经网络的权重，从而改变其行为。

而 ControlNet 则是将大型图像扩散模型中的权重克隆到一个 “可训练副本” 和一个 “锁定副本” 中，其中锁定副本保留了从数十亿张图像中学习到的网络能力，而可训练副本则在特定数据集上进行训练以学习条件控制。 此外，它们在影响神经网络行为方面的共同点是它们都使用了小型神经网络来对大型神经网络进行控制。这种方法可以使得大型神经网络更加灵活和适应性强，并且可以根据不同任务和条件进行调整和优化。

ControlNet 与其他相关工作之间的优势主要体现在以下几个方面：

1. 控制方式不同：ControlNet 通过控制神经网络中的输入条件来影响其行为，而其他相关工作则可能采用不同的控制方式，例如直接修改权重或者使用外部约束等。
2. 可解释性更强：ControlNet 可以通过可视化输入条件和输出结果之间的关系来解释其行为，从而更好地理解神经网络的内部机制。这对于一些需要可解释性的任务非常重要。
3. 适应性更强：ControlNet 可以根据不同任务和条件进行调整和优化，从而使得神经网络更加灵活和适应性强。这对于一些复杂、多变的任务非常重要。
4. 训练效果更好：ControlNet 可以通过使用锁定副本来保留从数十亿张图像中学习到的网络能力，并将其与可训练副本进行结合来进行训练。这种方法可以使得训练效果更好，并且可以避免过拟合等问题。

直观的各种预处理器的效果

官方模型下载地址： https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

这里也推荐一篇ControlNet的专业论文：

ControlNet 主要的预处理器和其作用请见下图：

模型规范： 

从ControlNet 1.1开始，开始使用标准ControlNet命名规则（SCNNR）来命名所有模型。我们希望这个命名规则能够改善用户体验。

ControlNet 1.1 包括 14 个模型（11 个生产就绪模型和 3 个实验模型）：

control_v11p_sd15_canny
control_v11p_sd15_mlsd
control_v11f1p_sd15_depth
control_v11p_sd15_normalbae
control_v11p_sd15_seg
control_v11p_sd15_inpaint
control_v11p_sd15_lineart
control_v11p_sd15s2_lineart_anime
control_v11p_sd15_openpose
control_v11p_sd15_scribble
control_v11p_sd15_softedge
control_v11e_sd15_shuffle
control_v11e_sd15_ip2p
control_v11f1e_sd15_tile

RA内置整合

RA 中已经内置以下的模型。避免你手动再次下载的困扰。

Controlnet 依賴的模型在安装包的图中位置，你可以去使用