ControNet基础学习
1. 使用背景
AI绘画虽然能够利用图生图的方式,生成类似图片风格特征的一种新图片,但是,大体上还是无法精准控制整体图片的细节特征,如果用于自娱自乐的倒也可以,但是在更专业的场景上,精准控制出图成为了AI绘画的一个重大难题。
2. 基础原理
在控制原理上ControNet和LoRA是有很多相似的之处的。定位都是对大扩散模型做微调的额外网络。控制网的核心作用是基于一些额外输入给它的信息来给扩散模型的生成提供明确的指引。
ControlNet搭载了许多和Checkpoint、LoRA一样,用大量图片数据训练出来的记录了对应信息的ControlNet控制模型,能让其读懂图片上的信息。因此,AI就能精准控制相应的特征。
这里与图生图做个对比,这里提供出来的信息比图生图里的信息更加纯粹。排除了图片本身的元素——比如上面已有的颜色、线条的影响,只是单纯一个点的信息,不会对其他你想要的通过提示词、LoRA等去输入的信息构成太多的影响。
在ControlNet中我们可以通过预处理器,智能的识别并提取相应的信息。
3.五大ControlNet模型简介
本文来自博客园,作者:一月一星辰,转载请注明原文链接:https://www.cnblogs.com/tangwc/p/18024003
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· DeepSeek R1 简明指南:架构、训练、本地部署及硬件要求
· NetPad:一个.NET开源、跨平台的C#编辑器