前言
上一节中我们介绍了ControlNet的原理,你学会了吗?
本节我们主要开始ControlNet的实战环节,边缘检测。总体来看边缘检测在ControlNet中有多种算法逻辑,对应的效果各有不同,大家可以根据自己不同的需求来选择使用。
当然边缘的准确性,柔和行,要求也不一致。因此,可以通过多次尝试后,针对不同的模型底稿,不同的业务场景,总结出来各自的心得和经验。
本文知识点
Canny硬边缘检测
更多资源进 2img.ai ,更多技术资料请扫码
基础官方知识
使用 Canny 贴图控制稳定的扩散。
模型文件:control_v11p_sd15_canny.pth
配置文件:control_v11p_sd15_canny.yaml
训练数据:具有随机阈值的 Canny。
可接受的预处理器:Canny。

主要内容
Canny 中只包含了 canny(硬边缘检测)这一种预处理器。canny 可以准确提取出画面中元素边缘的线稿,即使配合不同的主模型进行绘图都可以精准还原画面中的内容布局。
在选择预处理器时,我们可以看到除了 canny(硬边缘检测)还有 invert(白底黑线反色)的预处理器选项,它的功能并非是提取图像的空间特征,而是将线稿进行颜色反转。我们通过 Canny 等线稿类的预处理器提取得到的预览图都是黑底白线,但大部分的传统线稿都是白底黑线,为方便使用,很多时候我们需要将两者进行颜色转换,传统做法都是导出到 PS 等工具进行额外处理,非常繁琐。而 ControlNet 中贴心的内置了颜色反转的预处理功能,可以轻松实现将手绘线稿转换成模型可识别的预处理线稿图。
具体操作流程如下:
打开文生图,下方有ControlNet的面板,展开。
有3个ControlNet Unit,基本上默认提供3个通道的控制管理。
这里做测试验证,我们使用一个通道即可。
- 选择原图,或者我们自己生成一个
- 设置【Allow Preview】,允许预览
- 设置ControlType 为 线框,或者说边缘检测类型。
- 设置好ControlType之后,对应的预处理器和模型都会在界面上自动切换,如果此时本地还没有模型,则会出现进度条下载。
- 点击【Run Preprocessor】,运行预处理器后,即可在Preview中看到执行的效果。
详细步骤见下图:


当我们配置了之后,再次点击生成按钮的时候,出现的效果是否不同了。有一种线条感
你也可以拿其它图片实践一下。
注意:过程中需要下载对应的模型,比如下图中。在使用时,请确保下载环境没有问题。

RA/SD 衍生者AI训练营。发布者:稻草人,转载请注明出处:https://www.shxcj.com/archives/1377