前言
上一节我们介绍了如何生成一个有艺术气息的艺术二维码
本节我们主要介绍ControlNet中的图像细节修复和高清放大Tile能力。要注意,本文由于展示了高清的内容和图像数据,因此在文章的后边会有较大高清图片的加载。
请注意加载时间。在这些高清图的效果展示中,我们可以看到放大后,局部细节的精致能力展现。未来8K,16K看上去处理并没有很大的压力。至少是在软件层面没问题了。
知识点
- Tile 块的能力
- 细节修复
- 高清
基础官方知识
使用瓷砖控制稳定的扩散。
模型文件:control_v11f1e_sd15_tile.pth
配置文件:control_v11f1e_sd15_tile.yaml
该模型可以通过多种方式使用。总的来说,该模型有两种行为:
- 忽略图像中的细节并生成新的细节。
- 如果本地图块语义和提示不匹配,则忽略全局提示,并根据本地上下文引导扩散。
由于该模型可以生成新的细节并忽略现有的图像细节,因此我们可以使用该模型去除不良细节并添加精致的细节。例如,消除由于图像调整大小而导致的模糊。
下面是 8 倍超分辨率的示例。这是一张 64×64 的狗图像。
请注意,该模型不是超分辨率模型。它忽略图像中的细节并生成新的细节。这意味着您可以使用它来修复图像中的不良细节。
例如,下面是被 Real-ESRGAN 损坏的狗图像。这是一个典型的例子,当源上下文太小时,超分辨率方法有时无法放大图像。
如果您的图像已经具有良好的细节,您仍然可以使用此模型来替换图像细节。请注意,稳定扩散的 I2I 可以实现类似的效果,但该模型使您更容易维护整体结构,即使在去噪强度 1.0 的情况下也仅更改细节。
越来越多的人开始考虑在图块上进行漫射的不同方法,以便图像可以很大(4k 或 8k)。
问题是,在稳定扩散中,您的提示将始终影响每个图块。
例如,如果你的提示是“一个美丽的女孩”,你将图像分割成4×4=16个块,并在每个块中进行扩散,那么你将得到16个“美丽的女孩”,而不是“一个美丽的女孩”。这是一个众所周知的问题。
现在人们的解决办法是用一些“清晰、清晰、超清晰”之类的毫无意义的提示来消散区块。但可以预见的是,如果去噪强度很高,结果会很糟糕。而且由于提示不好,内容也相当随意。
ControlNet Tile 可以解决这个问题。对于给定的图块,它会识别图块内部的内容并增加所识别语义的影响,并且如果内容不匹配,它还会减少全局提示的影响。
可以看到提示是“帅哥”,但模型并没有在那棵树叶上画出“帅哥”。相反,它会相应地识别树叶的颜色。
通过这种方式,ControlNet 能够更改任何稳定扩散模型的行为以在图块中执行扩散。
ControlNet Tile 被广泛用于图像细节修复和高清放大,最典型的就是配合 Tile Diffusion 等插件实现 4k、8k 图的超分放大,相较于传统放大,Tile 可以结合周围内容为图像增加更多合理细节。
关于图像放大还有很多玩法可以给大家介绍,后面会单独给大家出一期文章。理论上来说,只要分得块足够多,配合 Tile 可以绘制任意尺寸的超大图.
(输出放大)
RA/SD 衍生者AI训练营。发布者:chris,转载请注明出处:https://www.shxcj.com/archives/3384