前言:
上一个课程我们介绍了深度图的概念和使用方式。
这一节我们主要介绍ControlNet中的方法Normal法线。所谓法线其实也是大量应用于三维或者游戏领域的一个技术概念。可以通俗的立即为垂直于一个平面的垂直线。
法线图的使用也过于技术性质。通常用于控制自然光或者其余灯光在垂直方向上的效果影响。
知识点:
- Normal法线
基础官方知识
使用法线贴图控制稳定扩散。
模型文件:control_v11p_sd15_normalbae.pth
配置文件:control_v11p_sd15_normalbae.yaml
训练数据:Bae 的法线贴图估计方法。
可接受的预处理器:普通 BAE。该模型可以接受来自渲染引擎的法线贴图,只要法线贴图遵循ScanNet 的协议即可。也就是说,你的法线贴图的颜色应该看起来像该图像的第二列。
注意,这个方法比ControlNet 1.0中的normal-from-midas方法合理得多。以前的方法将被放弃。

实战
法线,它是垂直与平面的一条向量,因此储存了该平面方向和角度等信息。我们通过在物体凹凸表面的每个点上均绘制法线,再将其储存到 RGB 的颜色通道中,其中 R 红色、G 绿色、B 蓝色分别对应了三维场景中 XYX 空间坐标系,这样就能实现通过颜色来反映物体表面的光影效果,而由此得到的纹理图我们将其称为法线贴图。由于法线贴图可以实现在不改变物体真实结构的基础上也能反映光影分布的效果,被广泛应用在 CG 动画渲染和游戏制作等领域。
ControlNet 的 NormalMap 模型就是根据画面中的光影信息,从而模拟出物体表面的凹凸细节,实现准确还原画面内容布局,因此 NormalMap 多用于体现物体表面更加真实的光影细节


RA/SD 衍生者AI训练营。发布者:稻草人,转载请注明出处:https://www.shxcj.com/archives/1416