2- 18 提示词引导系数与CFG修复插件

前言:

上一章,我们介绍如何一次性生成多张图片的方法

本章,我们介绍如何用提示词引导系数和CFG修复插件。

CFG Scale是指图像生成模型中的一个参数,用来衡量提示词对生成结果的影响程度。 在图像生成过程中,模型会根据给定的提示词来生成相应的图像。

而CFG Scale的值越高,提示词对最终生成结果的影响就越大,也就是说生成的图像更加符合提示词的要求。我们通过调节CFG,配置之前的XYZ脚本内容,批量生成不同参数配置下的图片。

在最终的图像结果中删选品质最佳的作品。是一种比较主流的做法。

知识点:

  1. 引导系数
  2. CFG修复

基础知识:

Classifier-Free Guidance(CFG)是引导扩散模型生成图像的一种方法,旨在增强模型根据特定条件(如文本提示)生成符合预期内容的能力。CFG不依赖于预先训练的分类器,而是通过调整扩散过程中的条件控制来实现图像生成的指导。

工作原理

  1. 无条件生成和条件生成
    • 无条件生成:模型在不提供任何特定条件的情况下生成图像。
    • 条件生成:模型根据提供的条件(如文本提示)生成图像。
  2. 引导信号的构建
    • CFG通过结合无条件生成和条件生成的两种输出,来构建一个引导信号。
    • 在生成过程中,模型会生成两个版本的图像,一个是基于条件的输出,另一个是不基于条件的输出。
  3. 引导系数(Guidance Scale)
    • CFG引入了一个引导系数(通常记作w),用于平衡条件生成和无条件生成的输出。
    • 最终的生成结果通过在无条件生成和条件生成的输出之间插值来获得: Output=Unconditional Output+𝑤×(Conditional Output−Unconditional Output)Output=Unconditional Output+w×(Conditional Output−Unconditional Output)
    • 通过调整引导系数,可以控制生成图像对条件的依赖程度。较高的引导系数会使生成图像更加符合条件,但可能引入伪影或不自然的细节;较低的引导系数则会使图像更自由,但可能不完全符合条件。

什么是SFG和调试图片

当生成图与提示词不太相符的时候,我们可以通过多刷图来找到符合自己需求的绘图。但是如果条件太多,始终达不到想到的效果,可以通过提高cfg值,并启用修复插件的方式来实现。

可以看到,随着CFG值的提高,画面与提示词关联度更高。但是最终的图像在你的要求和原先大模型的主要形态之间获取一个均衡。

我们使用CFG这个控制开关。效果图如下

2- 18 提示词引导系数与CFG修复插件

配置界面如下:

主要作用: 

  1. 开启脚本模式
  2. 配置CFG Scale , 后面的值用英文逗号分隔,中文符号会在python解析时候出错。Console输出错误认为是字符串了。请注意
2- 18 提示词引导系数与CFG修复插件

有时候会发生图像撕裂等问题。有一些插件可以解决

比如這款: https://github.com/mcmonkeyprojects/sd-dynamic-thresholding

插件, 本地安裝包:

sd-dynamic-thresholding-master.zip

可以看到,效果比較好的,呈現各種形態。

2- 18 提示词引导系数与CFG修复插件

总结 

总体来说 CFG 的调整和配置是微调最后的AIGC生成效果 ,非常有效。

由于每个人的需求和审美判断不同,同时大模型的内部制作向量数据也不同,这个设定只能每个同学自己尝试。没有统一的规范和建议。

RA/SD 衍生者AI训练营。发布者:chris,转载请注明出处:https://www.shxcj.com/archives/105

Like (0)
Previous 2024-05-03 8:54 下午
Next 2024-05-03 8:55 下午

相关推荐

发表回复

Please Login to Comment
本文授权以下站点有原版访问授权 https://www.shxcj.com https://www.2img.ai https://www.2video.cn