ControlNet是一种神经网络结构◆◆★■,它通过添加额外的条件来控制扩散模型◆★◆,从而提高AI绘图的可控性。ControlNet公开了八种不同类别的输入条件6163银河官网站,它们分别是:1.Canny:边缘检测◆★◆,通过从原始图片中提取线稿,来生成同样构图的画面。2◆◆■★★■.Depth:深度检测◆■■■★★,通过提取原始图片中的深度信息,生成具有相同表面几何形状的图片◆◆◆■★。3.HED:全卷积边缘检测网络6163银河官网站,与Canny类似,但更加精确。4.MLSD★★■◆:最小二乘直线检测(Minimum Line Segment Detection),用于识别建筑物等线.Normal:法线检测◆■■,用于提取原始图片中3D物体的法线向量◆■,用于法线.Openpose:姿势识别,用于人物动作◆★★■★,提取人体姿势的骨架特征。7.Scribble:涂鸦识别,用于将简单的涂鸦转化为完整的插画。8.Seg◆★:语义分割识别(Semantic Segmentation)◆◆◆■,用于将原始图片划分为不同区域,并标注其语义类别。简单了解ContorlNet的原理■◆,对我们进行AI绘画还是有帮助的,这样我们在选择参数时就不会手足无措了。
一句话概括:用ControlNet的某一种模型加上输入图控制AI绘图的输出★■。
第一步到此就完成了,下面开始第二步■★,前面的介绍可以知道需要下载control_sd15_depth■◆◆.pth■★,5◆■◆.7G的模型放到model/ControlNet目录下面(AI绘图傻瓜包的很多已经下好了)■■★。
深度图目前应用已经非常广泛了,例如一张图片生成3d街景◆★■◆。如何得到一个图片的深度图◆■,方法有很多种,网上有各式各样的生成软件,免费的收费的都有。有些专门提取人物,有的专门提取房间的家具等等6163银河官网站◆◆★。这里只介绍其中最简单的一种★◆◆■■◆,它已经作为扩展插件集成在了UI里■■◆◆★。对人物的处理还可以,当然效果比不上某些专业的软件,不过作为AI绘画试验已经够用了。
从上面的原理我们可以知道◆■,完成目标需要分两步★◆:第一步◆◆★★■■,由原始图片生成一张深度图,第二步使用ControlNet的模型control_sd15_depth.pth控制AI绘图生成的人物。
今天的绘图的主题是《浑元形意太极的女弟子们》,浑元形意太极拳深受大家喜爱,修炼之后身体好。。。这里选了一些女弟子的图
前面我们已经介绍了ControlNet使用OpenPose控制人物的动作姿态,因为姿态节点图是用点来描述的■★◆◆★,所以可能有时控制不是很精确。