Clip-跳过

在 Stable Diffusion 1.x 模型中,CLIP 用作文本嵌入。CLIP模型由多层组成。他们一层一层地变得更加具体。过于简单化,第一层可以理解“人”,第二层可以区分“男性”和“女性”,第三层可以区分“男人”,“男孩”,“小伙子”等。

您可能希望停在较早的 CLIP 层以使提示更加模糊。如果您想创建“狗”的图片,您可能对模型了解的“狗”的子类型(例如“腊肠犬”)不感兴趣。

启用CLIP 跳过后,您会降低文本模型的“准确性”。

某些型号比其他型号更能从启用“CLIP 跳过”功能中受益。例如,使用“Booru”标签(例如“1girl”)训练的模型或 LORA 通常建议启用CLIP 跳过。

CLIP 跳过仅适用于基于 SD1.x 的型号。基于 SD2.x 的模型不使用 CLIP 作为文本嵌入,因此这些模型将忽略 Clip Skip。

例子

无 CLIP 跳过

图像

与上面相同的设置,但启用了 CLIP 跳过

图像

笔记

启用 CLIP 跳过切换对应于 clip skip = 2稳定扩散的其他实现中的设置

posted @ 2024-03-21 13:53  天葬  阅读(95)  评论(0编辑  收藏  举报