一键生成图片绘制过程 | 大模型发展竟这般快速！

大家好，这里是白泽，详细演示一个今年7月份由 Stable Diffusion 的 ControlNet 插件的作者张博士所推出的最新模型——Paints_UNDO。

地址

https://github.com/lllyasviel/Paints-UNDO

简介

Paints_UNDO

旨在提供人类绘画行为的基础模型，希望未来的人工智能模型可以更好地与人类艺术家的真实需求保持一致。

“涂料-撤销”这个名称的灵感来自于相似性，模型的输出看起来像在数字绘画软件中多次按下“撤销”按钮(通常是 Ctrl + Z)。

绘画-撤销呈现了一系列的模型，这些模型将图像作为输入，然后输出该图像的绘制序列。该模型展示了各种人类行为，包括但不限于素描，墨水，着色，阴影，转换，左右翻转，色彩曲线调整，改变层的可见性，甚至在绘画过程中改变整体观念。

✨本文大纲：

1. 效果
2. 资料获取 & 安装方式
3. windows 本地调试配置详解

效果

效果是输入一张现成的图片，模拟输出其从线稿到上色到成品的整个过程。

第一步：本地启动，并输入图片，选择生成提示词。

第二步：输出关键步骤的图片

第三步：基于第二步的图片，进行插值，模拟中间态的图片，生成更多的图片，并输出一份视频。

• 输出中

• 线稿

• 上色过程

  导出 MP4 文件

安装方式

资料获取：

关注公众号：白泽talk，回复“AIGC资料包“ 即可获取。

电脑环境：

cuda 12.1：https://developer.nvidia.com/cuda-12-1-0-download-archive

git 代码管理工具: https://git-scm.com/downloads

python 3.10.6：https://www.python.org/downloads/release/python-3106/

c++ 14及以上：https://visualstudio.microsoft.com/zh-hans/downloads/?q=build+tools

conda 依赖管理工具：https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html

注意完成安装之后，确认环境变量中已经配置了对应工具的路径，通过 xx --version 查看上述工具的安装是否完成。

项目安装命令：

git clone https://github.com/lllyasviel/Paints-UNDO.git
cd Paints-UNDO
conda create -n paints_undo python=3.10
conda activate paints_undo
pip install xformers
pip install -r requirements.txt
python gradio_app.py

配置

仓库大部分使用者安装都遇到了问题，主要是因为配置错误。

• 完成安装之后，一份可以使用的配置参考

Package                   Version
------------------------- ------------
accelerate                0.30.1
aiofiles                  23.2.1
altair                    5.4.1
annotated-types           0.7.0
anyio                     4.6.2.post1
attrs                     24.2.0
av                        13.1.0
bitsandbytes              0.43.1
certifi                   2024.8.30
charset-normalizer        3.4.0
click                     8.1.7
colorama                  0.4.6
coloredlogs               15.0.1
contourpy                 1.3.0
cycler                    0.12.1
diffusers                 0.28.0
einops                    0.8.0
exceptiongroup            1.2.2
fastapi                   0.112.4
ffmpy                     0.4.0
filelock                  3.13.1
flatbuffers               24.3.25
fonttools                 4.54.1
fsspec                    2024.2.0
gradio                    4.43.0
gradio_client             1.3.0
h11                       0.14.0
httpcore                  1.0.6
httpx                     0.27.2
huggingface-hub           0.24.0
humanfriendly             10.0
idna                      3.10
importlib_metadata        8.5.0
importlib_resources       6.4.5
intel-openmp              2021.4.0
Jinja2                    3.1.3
jsonschema                4.23.0
jsonschema-specifications 2024.10.1
kiwisolver                1.4.7
markdown-it-py            3.0.0
MarkupSafe                2.1.5
matplotlib                3.9.2
mdurl                     0.1.2
mkl                       2021.4.0
mpmath                    1.3.0
narwhals                  1.9.4
networkx                  3.2.1
numpy                     1.26.3
onnxruntime               1.19.2
opencv-python             4.10.0.84
orjson                    3.10.9
packaging                 24.1
pandas                    2.2.3
peft                      0.13.2
pillow                    10.2.0
pip                       24.2
protobuf                  3.20.0
psutil                    6.1.0
pydantic                  2.9.2
pydantic_core             2.23.4
pydub                     0.25.1
Pygments                  2.18.0
pyparsing                 3.2.0
pyreadline3               3.5.4
python-dateutil           2.9.0.post0
python-multipart          0.0.12
pytz                      2024.2
PyYAML                    6.0.2
referencing               0.35.1
regex                     2024.9.11
requests                  2.32.3
rich                      13.9.2
rpds-py                   0.20.0
ruff                      0.7.0
safetensors               0.4.5
semantic-version          2.10.0
setuptools                65.5.0
shellingham               1.5.4
six                       1.16.0
sniffio                   1.3.1
starlette                 0.38.6
sympy                     1.13.1
tbb                       2021.11.0
tensorboardX              2.6.2.2
tokenizers                0.19.1
tomlkit                   0.12.0
torch                     2.3.1+cu121
torchaudio                2.3.1+cu121
torchvision               0.18.1+cu121
tqdm                      4.66.5
transformers              4.41.1
typer                     0.12.5
typing_extensions         4.12.2
tzdata                    2024.2
urllib3                   2.2.3
uvicorn                   0.32.0
websockets                11.0.3
xformers                  0.0.27
zipp                      3.20.2