如何使用Stable Diffusion生成艺术二维码？
硬件准备
物理内存：至少16G（8G直接安装阶段就卡死）
N卡：此处我使用GTX 1660 6G (2019年双12购买)
操作系统
windows 11
软件准备
网络要通畅
git： https://git-scm.com/download/win
Python: https://www.python.org/ftp/python/3.10.6/python-3.10.6-amd64.exe
CUDA驱动：https://developer.nvidia.com/cuda-toolkit-archive
如何查看下载哪个版本的CUDA驱动？
安装stable_diffusion_webUI
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
下载模型
https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4.ckpt
https://civitai.com/models/6424/chilloutmix
https://civitai.com/models/36520/ghostmix
下载完成后，放在 stable-diffusion-webui\models\Stable-diffusion 目录下
修改启动配置
stable-diffusion-webui\webui-user.bat
set COMMANDLINE_ARGS=--lowvram --precision full --no-half --disable-nan-check
启动
运行 stable-diffusion-webui\webui.bat
第一次启动会非常的耗时，因为要下载N多依赖的东西。出现错误肯定是网络问题。
启动成功，使用浏览器访问http://127.0.0.1:7860/就能看到UI页面
为stable-diffusion-webui 添加 ControlNet 支持
-
点击install进行安装
-
重启UI
-
安装模型
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
下载后放在：stable-diffusion-webui\extensions\sd-webui-controlnet\models
生成普通二维码
我们使用该网站生成二维码：https://34qr.com/en/
使用stable_diffusion_webUI生成艺术二维码
- 选择img2img
- 选择模型，选择GhostMix
- 填写prompt
prompt:
a cubism painting of a town with a lot of houses in the snow with a sky background, Andreas Rocha, matte painting concept art, a detailed matte painting
negative prompt:
ugly, disfigured, low quality, blurry, nsfw
-
上传二维码
-
配置
Resize mode: Just resize
Sampling method: DPM++2M Karras
Sampling step: 50
Width: 768
Height: 768
CFG Scale: 7
Denoising strength: 0.75 -
ControlNet中上传二维码
-
配置
Enable: Yes
Control Type: Tile
Preprocessor: tile_resample
Model: control_v11f1e_sd15_tile
Control Weight: 0.87
Starting Control Step: 0.23
Ending Control Step: 0.9 -
点击生成
完成配置截图如下：
效果图
Ref
https://zhuanlan.zhihu.com/p/617997179
https://stable-diffusion-art.com/qr-code/
https://www.kombitz.com/2023/02/18/how-to-use-controlnet-with-automatic1111-stable-diffusion-web-ui/
https://www.youtube.com/watch?v=XRNQKjhEcyc
