前言:
上一章,我们介绍了文生图的大部分基本内容
本章,我们介绍如何图生图的相关基础知识和技巧
当我们用AIGC的方式生成图片后,很多时候需要知道某张效果很好的图片当时生成的参数设置是怎么样的。或者有时候需要针对某个品质很好的照片,大量衍生类似的内容。
此时我们需要用到反推的能力,包括采样器,CFG配置等等各种内容。那么关键字的反推,就使用了CLIP功能。当然陆续还有更多的数据,参数反推,推荐工具。
陆续都会在插件体系中增强和展开。但无论如何RA/SD内置的这个CLIP功能应该是最短小精悍的成手工具了。
知识点:
- CLIP反推
- 图生图
基础知识:
“图生图反推”(也称为”图像反推”或”图像反演”)是指从现有图像开始,通过反向扩散过程将图像转换回潜在的噪声空间,或者通过降噪过程生成新的图像。
这一技术在多种应用中非常有用,包括图像编辑、风格转换和图像修复。
基本概念
扩散模型
扩散模型是一种生成模型,通过将数据逐步转换为噪声并学习逆向过程来生成新的数据。SD是一种扩散模型,通过从纯噪声逐步生成图像。
图像反推(Image Inversion)
图像反推是指从现有图像反向推导出潜在的噪声表示。这一过程的目的是找到一组潜在变量,当这些变量被扩散模型处理时,会生成与原始图像相似的图像。
图生图反推的步骤
- 初始图像转换:
- 从原始图像开始,通过扩散模型将其转换为噪声表示。这涉及到反向扩散过程,即从图像到噪声的过程。
- 降噪和调整:
- 通过调整降噪过程中的参数(如噪声水平),生成新的图像或修改现有图像。这个过程可以引导模型生成符合特定条件或风格的图像。
- 生成新图像:
- 使用修改后的潜在噪声表示,通过扩散模型生成新的图像。
什么是图生图
和文生图类似,图生图主要是通过给定一张参考图,从多个维度进行参数化配置,让大模型更加理解你要的东西。生成最终的图片给你。
在这个过程中,增加了非常多的变化量子,使得我们生成的图片又更加的多元丰富。
在RA/SD体系中,图生图就是对应的Img2Img 面板下的控制内容。
CLIP
在图生图功能里,有个CLIP反推提示词功能,我们把别人生成的精美图片上传到stable diffuison webui中,点击生成按钮旁边的“CLIP反推提示词”按钮,等待片刻。
如下图所示, 点击[Interrogate CLIP ] ,就可以直接看到反推关键字的效果。
可以看到,反推提示词产生的提示词以单词为基本结构,更接近于原始的提示词。用这个提示词生成的图片虽然也会丢失信息,但已经比CLIP反推出的提示词好多了。
Tagger反推词插件
再介绍一个更加准确的获取提示词的工具,由大神制作的反推提示词插件tagger。
官方地址:
使用方法同常规插件,效果图如下。 我们可以看到新增了。一个Tagger的子页面。 选择图片。即可获取你要的各种信息。
RA/SD 衍生者AI训练营。发布者:chris,转载请注明出处:https://www.shxcj.com/archives/997