ControNet基础学习

1. 使用背景

AI绘画虽然能够利用图生图的方式，生成类似图片风格特征的一种新图片，但是，大体上还是无法精准控制整体图片的细节特征，如果用于自娱自乐的倒也可以，但是在更专业的场景上，精准控制出图成为了AI绘画的一个重大难题。

2. 基础原理

在控制原理上ControNet和LoRA是有很多相似的之处的。定位都是对大扩散模型做微调的额外网络。控制网的核心作用是基于一些额外输入给它的信息来给扩散模型的生成提供明确的指引。

ControlNet搭载了许多和Checkpoint、LoRA一样，用大量图片数据训练出来的记录了对应信息的ControlNet控制模型，能让其读懂图片上的信息。因此，AI就能精准控制相应的特征。

这里与图生图做个对比，这里提供出来的信息比图生图里的信息更加纯粹。排除了图片本身的元素——比如上面已有的颜色、线条的影响，只是单纯一个点的信息，不会对其他你想要的通过提示词、LoRA等去输入的信息构成太多的影响。

在ControlNet中我们可以通过预处理器，智能的识别并提取相应的信息。

3.五大ControlNet模型简介