大家好，這里是和你們一起探索 AI 的花生~

Controlnet 可以說是目前最重要的一款 AI 繪畫控制插件，可以幫我們實現輪廓、深度、動作姿勢、顏色等多種控制效果。由于每種控制條件都需要調用不同的控制模型，加上 SD1.5 和 SDXL 的生態并不互通，大家肯定都至少安裝了十幾種模型文件，給磁盤空間帶來了很大的壓力。

最近一款名為 ControlNet++ 的模型卻改變了這個狀況，它將十多種控制功能合為一體，只需要安裝一個模型，就能和多種不同的預處理器搭配使用，今天就來看看它的具體用法。

相關推薦：

一、ControlNet++簡介

ControlNet++，也稱為 ControlNetPlus，目前更普遍的稱呼是 Controlnet Union，它是一款新訓練的 ControlNet 控制架構，融合了 10 多種控制模型，適用于 SDXL 1.0 生態。與獨立控制模型相比，它的處理效果沒有明顯下降，使用起來也非常方便，所以推出后很快就受到了廣泛關注。

Controlnet Union 融合的控制類型一共有 13 種，可以分為 6 大類：

1. openpose 動作姿勢
2. depth 深度
3. thick line 粗線條 (包括：scribble / hed / softedge / ted-512 )
4. thin line 細線條 (包括：canny / mlsd / lineart / animelineart / ted-1280 )
5. normal 法線貼圖
6. segment 語義分割

除了單獨使用，Controlnet Union 也支持多重控制。也就是我們可以同時開兩個控制窗口，使用不同的預處理器，然后同時選擇 Controlnet Union 做為控制模型，這樣運行起來顯存壓力更小。

Controlnet Union 的模型權重已經開源，目前 SD WebUI 和 ComfyUI 都可以使用，下面介紹具體的安裝方法。

二、在 SD WebUI 中使用

模型下載鏈接： https://huggingface.co/xinsir/controlnet-union-sdxl-1.0/tree/main （文末有資源包）

從 Huggingface 上下載名為 diffusion_pytorch_model.safetensor 的模型文件，為了方便識別，將其名稱改為 controlnet++_union_sdxl.safetensor，然后放到根目錄的 extensions\sd-webui-controlnet\models 文件夾中。

將 Controlnet 插件更新到最新版本，然后啟動 WebUI，就能在 Controlnet 控制列表里看到 controlnet union 的選項了，使用時記得選擇 SDXL 系列的大模型。我的顯存是 8G，在用 controlnet union 時出現了內存不足的報錯，但是使用獨立模型時不會有這樣的問題，感覺 union 還是會需要更高的 VRAM。

另外 controlnet union 目前不適用于以下預處理器：

1. 帶面部和手部的姿勢骨架的模型，比如 openpose_full，openpose_hand、openpose_faceonly 等，因為 union 沒有對這些內容進行訓練，生成的圖像會出現錯誤。
2. seg_ofade20k 語義分割預處理器。

三、在 ComfyUI 中使用

如果想在 ComfyUI 中使用 Controlnet Union，同樣先下載文件，改名后并安裝到 ComfyUI\models\controlnet 文件夾，或者 SD WebUI 共用路徑中的 models\controlnet 文件夾中（模型資源可以在文末資源包中下載）。

下圖是一個最基礎的 controlnet 調用工作流（文末資源包可下載），在 ComfyUI 中運行起來非常順利，沒有出現爆顯存的情況。運行此工作流前，需要注意：

1. 圖像尺寸記得與上傳的圖像保持一致；
2. 選擇 SDXL 大模型，如果模型不同，生成步數、CFG、采樣器等參也需要同步修改；
3. 檢查是否正確地選擇了 controlnet union 模型。

我還搭建了一個多重控制工作流，可以同時使用兩種控制條件（超過兩個后 controlnet union 的效果就會變差），使用時可以多嘗試不同的 contorlnet 強度，獲取更好的效果。對于新手來說，可以先熟悉這兩個基礎工作流的節點構成，等熟悉之后就能將 controlnet union 結合到其他更復雜的工作流中了。

那么以上就是對新的 AI 繪畫控制模型 Controlnet Union 的介紹，從總體上來說它的效果還是不錯的，而且使用更方便，也省空間，非常推薦大家都使用。當然如果你想要更精致的出圖效果，用最新的獨立模型效果肯定會更好。

文章相關鏈接：

1. https://github.com/xinsir6/ControlNetPlus/blob/main/README_zh.md
2. https://github.com/Mikubill/sd-webui-controlnet/discussions/2989

如果你還不了解 Stable Diffusion 的用法，可以看看我最新制作的 《零基礎 AI 繪畫入門指南》，這是一門面向 AI 繪畫零基礎人群的系統課程，有全面細致的用法教學，并提供配套資源，能幫你快速掌握這款目前最熱門的 AI 繪畫工具。

想了解更多 AI 新鮮資訊的話，歡迎關注 優設 AI 自學網 和優設微信視頻號，每天都會分享最新的 AIGC 資訊和神器，讓你輕松掌握 AI 發展動態。如果有關于文章的問題，歡迎在評論區留言，或者下方的二維碼加入“優設 AI 繪畫交流群”，和我及其他 設計師 一起交流學習 AI 知識~

推薦閱讀：