5-11 图像细节修复和高清放大Tile能力

前言

上一节我们介绍了如何生成一个有艺术气息的艺术二维码

本节我们主要介绍ControlNet中的图像细节修复和高清放大Tile能力。要注意,本文由于展示了高清的内容和图像数据,因此在文章的后边会有较大高清图片的加载。

请注意加载时间。在这些高清图的效果展示中,我们可以看到放大后,局部细节的精致能力展现。未来8K,16K看上去处理并没有很大的压力。至少是在软件层面没问题了。

知识点

  1. Tile 块的能力
  2. 细节修复
  3. 高清

基础官方知识

使用瓷砖控制稳定的扩散。

模型文件:control_v11f1e_sd15_tile.pth

配置文件:control_v11f1e_sd15_tile.yaml

该模型可以通过多种方式使用。总的来说,该模型有两种行为:

  • 忽略图像中的细节并生成新的细节。
  • 如果本地图块语义和提示不匹配,则忽略全局提示,并根据本地上下文引导扩散。

由于该模型可以生成新的细节并忽略现有的图像细节,因此我们可以使用该模型去除不良细节并添加精致的细节。例如,消除由于图像调整大小而导致的模糊。

下面是 8 倍超分辨率的示例。这是一张 64×64 的狗图像。

p

图像

请注意,该模型不是超分辨率模型。它忽略图像中的细节并生成新的细节。这意味着您可以使用它来修复图像中的不良细节。

例如,下面是被 Real-ESRGAN 损坏的狗图像。这是一个典型的例子,当源上下文太小时,超分辨率方法有时无法放大图像。

p
图像

如果您的图像已经具有良好的细节,您仍然可以使用此模型来替换图像细节。请注意,稳定扩散的 I2I 可以实现类似的效果,但该模型使您更容易维护整体结构,即使在去噪强度 1.0 的情况下也仅更改细节。

图像

越来越多的人开始考虑在图块上进行漫射的不同方法,以便图像可以很大(4k 或 8k)。

问题是,在稳定扩散中,您的提示将始终影响每个图块。

例如,如果你的提示是“一个美丽的女孩”,你将图像分割成4×4=16个块,并在每个块中进行扩散,那么你将得到16个“美丽的女孩”,而不是“一个美丽的女孩”。这是一个众所周知的问题。

现在人们的解决办法是用一些“清晰、清晰、超清晰”之类的毫无意义的提示来消散区块。但可以预见的是,如果去噪强度很高,结果会很糟糕。而且由于提示不好,内容也相当随意。

ControlNet Tile 可以解决这个问题。对于给定的图块,它会识别图块内部的内容并增加所识别语义的影响,并且如果内容不匹配,它还会减少全局提示的影响。

图像

可以看到提示是“帅哥”,但模型并没有在那棵树叶上画出“帅哥”。相反,它会相应地识别树叶的颜色。

通过这种方式,ControlNet 能够更改任何稳定扩散模型的行为以在图块中执行扩散。

ControlNet Tile 被广泛用于图像细节修复和高清放大,最典型的就是配合 Tile Diffusion 等插件实现 4k、8k 图的超分放大,相较于传统放大,Tile 可以结合周围内容为图像增加更多合理细节。

关于图像放大还有很多玩法可以给大家介绍,后面会单独给大家出一期文章。理论上来说,只要分得块足够多,配合 Tile 可以绘制任意尺寸的超大图.

奶奶补偿

(输出放大)

奶奶Comp_face

奶奶Comp_torso

RA/SD 衍生者AI训练营。发布者:chris,转载请注明出处:https://www.shxcj.com/archives/3384

Like (0)
Previous 2024-06-24 3:44 下午
Next 2024-06-24 11:52 下午

相关推荐

发表回复

Please Login to Comment
本文授权以下站点有原版访问授权 https://www.shxcj.com https://www.2img.ai https://www.2video.cn