5-2 实物转手绘——Canny硬边缘检测

前言

上一节中我们介绍了ControlNet的原理,你学会了吗?

本节我们主要开始ControlNet的实战环节,边缘检测。总体来看边缘检测在ControlNet中有多种算法逻辑,对应的效果各有不同,大家可以根据自己不同的需求来选择使用。

当然边缘的准确性,柔和行,要求也不一致。因此,可以通过多次尝试后,针对不同的模型底稿,不同的业务场景,总结出来各自的心得和经验。

本文知识点

Canny硬边缘检测

更多资源进 2img.ai ,更多技术资料请扫码

基础官方知识

使用 Canny 贴图控制稳定的扩散。

模型文件:control_v11p_sd15_canny.pth

配置文件:control_v11p_sd15_canny.yaml

训练数据:具有随机阈值的 Canny。

可接受的预处理器:Canny。

5-2 实物转手绘——Canny硬边缘检测

主要内容

Canny 中只包含了 canny(硬边缘检测)这一种预处理器。canny 可以准确提取出画面中元素边缘的线稿,即使配合不同的主模型进行绘图都可以精准还原画面中的内容布局。

在选择预处理器时,我们可以看到除了 canny(硬边缘检测)还有 invert(白底黑线反色)的预处理器选项,它的功能并非是提取图像的空间特征,而是将线稿进行颜色反转。我们通过 Canny 等线稿类的预处理器提取得到的预览图都是黑底白线,但大部分的传统线稿都是白底黑线,为方便使用,很多时候我们需要将两者进行颜色转换,传统做法都是导出到 PS 等工具进行额外处理,非常繁琐。而 ControlNet 中贴心的内置了颜色反转的预处理功能,可以轻松实现将手绘线稿转换成模型可识别的预处理线稿图。

具体操作流程如下:

打开文生图,下方有ControlNet的面板,展开。

有3个ControlNet Unit,基本上默认提供3个通道的控制管理。

这里做测试验证,我们使用一个通道即可。

  1. 选择原图,或者我们自己生成一个
  2. 设置【Allow Preview】,允许预览
  3. 设置ControlType 为 线框,或者说边缘检测类型。
  4. 设置好ControlType之后,对应的预处理器和模型都会在界面上自动切换,如果此时本地还没有模型,则会出现进度条下载。
  5. 点击【Run Preprocessor】,运行预处理器后,即可在Preview中看到执行的效果。

详细步骤见下图:

5-2 实物转手绘——Canny硬边缘检测
5-2 实物转手绘——Canny硬边缘检测

当我们配置了之后,再次点击生成按钮的时候,出现的效果是否不同了。有一种线条感

你也可以拿其它图片实践一下。

注意:过程中需要下载对应的模型,比如下图中。在使用时,请确保下载环境没有问题。

5-2 实物转手绘——Canny硬边缘检测

RA/SD 衍生者AI训练营。发布者:稻草人,转载请注明出处:https://www.shxcj.com/archives/1377

(0)
上一篇 2024-05-17 5:22 下午
下一篇 2024-05-17 5:28 下午

相关推荐

发表回复

登录后才能评论
本文授权以下站点有原版访问授权 https://www.shxcj.com https://www.2img.ai https://www.2video.cn