AI 绘画 - 建筑绘图辅助设计之 Controlnet SEG & Depth

前情提要

2023-06-17 周六 杭州 雨转阴

小记: 周末的午休感觉还是没有尽兴，说是要乖乖休息却只是躺下闭目养神。

任务清单:
a. Sketchup 安装和学习;
b. Sketchup 建模学习;
c. Controlnet SEG 语义分割基础；
d. Controlnet Depth;

简介

应用实践

1. Controlnet SEG ?

语义分割可多通道应用，原理是用颜色把不同类型的对象分割开，让AI能正确识别对象类型和需求生成的区界，就是通过对不同色块的声明从而定义不同的材质，通过简单的建模进而更好的生成预期的图片。

2. Sketchup 安装部署

软件下载地址:
链接：https://pan.baidu.com/s/1bKOaHvQS4sVdRiWni45z4g
提取码：z8yd

材质模板地址:
链接：https://pan.baidu.com/s/1WMA_OCIV_gsAhjVTJc4gVw
提取码：o34c

更新 Sketchup 材质模板操作:

cd C:\ProgramData\SketchUp\SketchUp 2020\SketchUp\Materials

吐槽: 一不小心搞了一下午，SU 建模需要自学下，反正后期由 SD 自动出图，所以只要会堆积模块选材质就可以了，一个下午基本就可以了，过分深入也没有必要的，AI 可以把大部分的后期细节处理的工作简化了；

3. SEG 参数模型

作用: 基于材质进行语义分析可以更好的进行 AI 绘图识别，色差确定不同物体的材质，语义识别可以更好的进行 AI 绘图转换；
** 参数 **
SEG 语义分割预处理器:
1.a seg_ofade20k
1.b seg_ofcoco
1.c seg_ufade20k

SEG 语义分割对应模型: control_v11p_sd15_seg

4. Depth 参数模型

作用: 可以很好的控制画面的前后景问题，不至于过拟合；

** 参数 **
Depth 语义分割预处理器: depth_leres

Depth 语义分割对应模型: control_v11f1p_sd15_depth

5. 多模叠加

原型图:

生成图:

总结

1. Sketchup 建模对 SD 建筑绘图帮助很大；
2. Sketchup 简称 SU ，需要自学，使用和产品设计稿差不多的，基本一个下午基本的入门也都可以了(1-2h);
3. 可以使用多个 Controlnet 模型进行工作作用，因为图生图时，可能因为角度等问题造成绘图出现偏差；
4. AI 建筑绘图，可以作为一个 AI 绘图入门学习，成本也还好啦，一面可以掌握建筑绘图的基本知识，一方面又可以了解 AI 绘图的设计思想；
5. 再有就是国内下载模型时比较费劲，网速比较慢，甚至下载不下来；