3-4 随手涂鸦草图生成实景图

前言:

上一章,我们介绍局部重绘的各种基础知识和技巧点

本章,我们介绍如何将我们的涂鸦或者草图,直接生成更好看的图片

AIGC的强大能力,冲击最大,最直接的就是原画师,原画师的随手涂鸦,或者更专业点说手绘的内容,在RA/SD的AIGC体系下,高效的被运行和提升。

很多人会问,AIGC会代替原画师吗?很抱歉的回复你,大概率会。以RA/SD为代表的AIGC体系产品,不仅在生成能力,生产效率,想象力,调整能力,都会在近期大量冲击美术市场。

本文的涂鸦草图内容生成实景图,应该是一个非常具有代表性的展现了。

知识点:

  1. 涂鸦生图草图

基础知识:

“涂鸦生图”功能的原理,涉及将用户的简笔画(涂鸦)转换为详细、艺术化的图像。这一过程依赖于扩散模型及其相关技术,以在提供基本结构或提示的基础上生成复杂的图像。

以下是涂鸦生图的详细原理和步骤:

基本原理

  1. 输入涂鸦
    • 用户提供一个简笔画或涂鸦,作为生成图像的基础。这通常是一个简单的线条图,表示图像的基本结构和布局。
  2. 条件生成(Conditional Generation)
    • 扩散模型通过条件生成技术,根据输入的涂鸦生成图像。条件生成技术使模型能够根据提供的特定条件(如涂鸦、文本提示)生成相应的图像。
  3. 扩散过程
    • 扩散过程是指模型通过多次迭代生成图像,从初始的噪声图像逐步逼近目标图像。每一步生成过程中,模型会考虑输入的条件(如涂鸦)来调整生成的图像。

详细步骤

  1. 初始化
    • 输入涂鸦被处理为图像生成的初始条件。通常会将涂鸦转换为一个适合模型处理的格式,如特定的张量表示。
  2. 扩散模型的反向过程
    • 扩散模型开始反向过程,从高噪声图像逐步生成低噪声、详细的图像。这个过程包括多个迭代步骤,每一步都会生成一个逐步细化的图像。
  3. 噪声注入和调整
    • 在每一步迭代中,模型会注入少量噪声,同时根据涂鸦的结构调整生成的图像。模型使用噪声和条件提示来探索不同的图像细节,从而逐步生成高质量的图像。
  4. 最终输出
    • 最终,模型输出一个详细、艺术化的图像,保留了用户输入的涂鸦的基本结构,同时添加了丰富的细节和艺术效果。

关键技术

  1. 扩散模型(Diffusion Models)
    • 扩散模型通过模拟一个逐步去噪的过程,从随机噪声开始逐步生成清晰的图像。每一步生成都依赖于前一步的结果和条件输入。
  2. 条件生成(Conditional Generation)
    • 条件生成技术允许模型根据特定的输入条件生成图像。这在涂鸦生图中尤为重要,因为模型需要根据用户的涂鸦生成相应的图像。
  3. 去噪自动编码器(Denoising Autoencoders)
    • 去噪自动编码器在扩散模型中用于处理噪声注入和去噪过程,确保生成图像的质量和细节。

涂鸦草图生图原理

原图,实际上也借用了图生图的生成原理,将这个草图的关键特征作为生成目标图的依据。 

3-4 随手涂鸦草图生成实景图

如果不操作什么关键字,直接选择一个大模型,后用图生图。效果图如下

3-4 随手涂鸦草图生成实景图

这个效果有点差强人意。 

并不能展示我们要的2个人物的效果。 同时还有拥抱的意思。 

此时,我们通过关键字,强化下我们要表达的内容。 

Color image , a girl and a baby .

效果图如下 .

此时我们可以看到。不仅人物,角度, 形状, 都非常贴切我们想要表达的草图的效果。 对吧。

圖中的生成有一個小瑕疵,原圖中抱的東西, AI並不能一定是個baby.

3-4 随手涂鸦草图生成实景图

总结

总体来说,这个技术非常有使用价值,我们随便在草稿上画一笔,就能生成很酷的图片。 难道还不酷吗?

RA/SD 衍生者AI训练营。发布者:chris,转载请注明出处:https://www.shxcj.com/archives/1014

Like (0)
Previous 2024-05-14 2:41 下午
Next 2024-05-14 2:44 下午

相关推荐

发表回复

Please Login to Comment
本文授权以下站点有原版访问授权 https://www.shxcj.com https://www.2img.ai https://www.2video.cn