Skip to content

制作自己的修复模型非常简单:

screenshot

  1. 前往 Checkpoint Merger
  2. 选择 "Add Difference"
  3. 将 "Multiplier" 设置为 1.0
  4. 将 "A" 设置为官方修复模型(SD-v1.5-Inpainting
  5. 将 "B" 设置为你的模型
  6. 将 "C" 设置为标准基础模型(SD-v1.5
  7. 将名称设置为你想要的任何名称,可能是 (你的模型)_inpainting
  8. 根据需要设置其他值,例如可能选择 "Safetensors" 和 "Save as float16"
  9. 点击合并
  10. 在 img2img 修复选项卡中使用你的新模型

这种方法的工作原理就是将修复模型复制一份,并将你的模型的独特数据复制到其中。 请注意,公式为 A + (B - C),你可以将其解释为等同于 (A - C) + B。因为 'A' 是 1.5-修复模型,'C' 是 1.5,A - C 就是修复逻辑而已。所以公式为 (修复逻辑) + (你的模型)。

更广泛的应用

这种 "add-the-difference" 合并方法几乎可以应用于 webui 可加载的所有机械独特模型。\ 在 Features 页面上查看它们!

1 你现有的微调模型需要与独特模型的架构匹配,即 Stable Diffusion 2 或 1。

2 你还需要将独特模型与基础模型进行对比。

从它们的 GitHub 上找出基础模型是什么。

问:altdiffusion-m9 使用的基础模型是什么? 答:stable diffusion 1.4 模型

问:instructpix2pix 使用的基础模型是什么? 答:stable diffusion 1.5 模型

这些模型的网络/属性可以与任何微调一起使用,就像著名的Controlnet网络一样,只是这些网络没有与模型分离。

注释: _你可能已经意识到Controlnet网络已经可以做到许多这些事情了。_ 所以,这里有一些值得尝试的事情: - 使用带有噪声偏移模型的更暗/更亮的照明 - 使用miniSD模型在较小的256或320维度中生成类似于512x512的图片 - 使用altdiffusion-m9模型(更改剪辑模型)在输入语言上更加确定性地提示