大家好，這里是和你們一起探索 AI 繪畫的花生~

Stable Diffusion WebUI 的繪畫插件 Controlnet 在 4 月份更新了 V1.1 版本，發布了 14 個優化模型，并新增了多個預處理器，讓它的功能比之前更加好用了，最近幾天又連續更新了 3 個新 Reference 預處理器，可以直接根據圖像生產風格類似的變體。

使用 Reference only 預處理器生成一張圖片的多個變體

因為 Controlnet 在更新時涉及到多個網頁里的不同的資源，所以今天就從頭幫大家梳理一下更新 V1.1 所需要的各種資源，以及如何有效的安裝 Controlnet 插件。如果你還沒有安裝 Stable Diffusion WebUI，可以閱讀下面這篇文章，了解安裝 WebUI 需要的電腦配置，以及下載相關的一鍵安裝包。

一、安裝 Controlnet 插件

Controlnet 插件安裝網址： https://github.com/Mikubill/sd-webui-controlnet

①打開 WebUI，點擊“擴展”選項卡，選擇“從網址安裝”，復制（ https://github.com/Mikubill/sd-webui-controlnet.git ），粘貼在第一行的“拓展的 git 倉庫網址”中。點擊“安裝”按鈕，等待十幾秒后，在下方看到一行小字“Installed into stable-diffusion-webui\extensions\sd-webui-controlnet. Use Installed tab to restart”，表示安裝成功。

（從網址安裝可以保證插件的更新能在 WebUI 中自動顯示，如果是下載壓縮包文件放進根目錄，就無法自動更新）

②點擊左側的“已安裝”選項卡，單擊“檢查更新”，等待進度條完成；然后單擊“應用并重新啟動 UI”；最后完全關閉 WebUI 程序，重新啟動進入（也可以重啟電腦），我們就可以在 WebUI 主界面中下方看到 Controlnet 的選項。

③如果安裝后 Controlnet 界面只有一個選項卡，你可以點擊“設置”界面，找到 Controlnet，將 Multi Controlnet 中設置你想要的值，點擊保存設置并重啟 WebUI。

④ 此時我們可以打開 WebUI 所在的文件夾，進入 Controlnet 的根目錄，具體路徑為 C:\Stable Diffusion\novelai-webui-aki-v3\extensions\sd-webui-controlnet，打開 models 文件夾，里面有 38 個尾綴為.yaml 的文件，這些是模型的配置文件，輔助controlnet 模型的使用；再點開 WebUI 中 Controlnet 面板中的預處理器（preprocessors）列表，也有很多選項，這些預處理器的作用是將圖像處理為 controlnet 模型需要的輸入。

到這一步我們已經成功安裝了 Controlnet 插件，以及提取預處理器所需要的 .yaml 文件，下一步就是安裝模型（models），模型的文件尾綴為 pth，它的作用是將圖像特征執行到我們的圖像生成過程中，Controlnet V1.1 的模型需要我們到 Huggingface 中去下載。

二、安裝 V1.1 新模型

Controlnet V1.1 模型下載： https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main （文末有安裝包）

在這個 Huggingface 頁面中，我們只需要下載全部 14 個.pth 尾綴的模型文件，下載方式為點擊“文件大小”右側的下載小箭頭。下載完成后，將 14 個文件放入 .yaml 所在的文件夾，即 C:\Stable Diffusion\novelai-webui-aki-v3\extensions\sd-webui-controlnet\models。

三、安裝 T21 模型

T2I- Adapter 模型下載 ： https://huggingface.co/TencentARC/T2I-Adapter/tree/main/models （文末的鏈接里有 T2I- Adapter 的 Color、Style 模型）

T2I- Adapter 詳細介紹： https://github.com/TencentARC/T2I-Adapter

ControlNet V1.1 支持目前所有可用的模型和預處理器，包括 T2I- Adapter 模型。T2I- Adapter 模型由 TencentARC 研發，和 ControlNet 的模型作用類似，都是可以精準控制圖像生成效果，T2I- Adapter 的模型可在 ControlNet 中使用，而且二者模型功能有重合。

ControlNet 插件的自帶 T2I- Adapter 的 Color、Sketch 和 style 預處理器，為 sd14 版本 ，所以我們可以只下載 Color 和 Style 對應的模型（Sketch 功能和 softedge 差不多，我就不重復下載了），記得要選擇對應的 sd14 的版本，不然模型無法生效。這兩個模型我都放進都文末的鏈接里了。

下載完成后，依舊是放入 Controlnet 根目錄的 models 文件夾中，然后在 WebUI 的 Controlnet 中，按“模型”選項右側藍色小圖標刷新模型，就能看與我們下載的全部 16 個模型了。

四、試用 V1 .1 新功能

Controlnet V1 .1 更新介紹： https://github.com/lllyasviel/ControlNet-v1-1-nightly

Controlnet V1 .1 在 V1.0 的基礎上對模型進行了優化，并新增了不少新的預處理器，還進一步規范了模型的命名，方便大家識別模型的不同版本和狀態，具體見下圖：

不同模型的作用和使用方法，Controlnet 官方的在相關 Github 界面中都有詳細介紹，篇幅所限我就不一一贅述了。我選了 3 個功能做演示，讓大家快速熟悉 ControlNet V1.1 的用法。

1. Reference 預處理器

Reference 是官方最新推出的預處理器，共有三種型號 Reference_only、Reference_adain 和 Reference_adain+atten。它只有 yam l 配置文件，沒有 pth 模型文件，可以根據上傳的圖像生成類似的變體，來看一下它的具體使用效果。

① 在 Controlnet 上傳一張圖片，勾選啟用，預處理器選擇 Reference_only，其他參數默認。

② 選擇一個大模型( 因為要生成寫實人像，所以我選擇寫實風模型 RealisticVisionV20），輸入提示詞“best quality, A handsome man wearing a (white T-Shirt), angry”，步數 25，采樣方法 EularA，畫面尺寸 512*768px，然后點擊生成。

③ 生成圖與原圖風格內容類似，但是人物的表情已經在 angry 的作用下發生變化了。我以同樣的參數又測試了 Reference_adain 和 Reference_adain+atten，可以看出 only 和 adain+atten 比較貼近原圖形象，adain 變化最明顯。

④ 使用 Reference 時我們需要了解的一項參數是“Style Fidelity”，意思是風格保真度。

我用 adain+atten 處理器和固定的種子值，分別生成了 Style Fidelity 為 0/0.5/1 的圖像。Style Fidelity 為 0 時，生成圖像的色調、人物的衣著、背景與原圖差異很明顯，人物的表情更符合提示詞；Style Fidelity 為 1 時，圖像的色調和人物五官和原圖非常相似，甚至提示詞 angry 已經不起作用的，人物是微笑的。所以 Style Fidelity 數值越高，生成的圖像就越像原圖。

Reference 預處理器需要在高于 1.1.171 的更新中使用，官方推薦的兩個參數：

1. Reference_only / Style Fidelity: 0.5 建議作為默認值，出圖效果穩定
2. Reference_adain+attn/ Style Fidelity: 1.0 是目前最先進的，值得嘗試，但不建議作為默認值

2. Tile 磁貼

Tile 模型的作用是可以忽略原圖的細節，根據現有像素和提示詞生成新的細節，目前主要作用是將嚴重模糊的圖片放大并變得高清。我們以一張 64x64 px 的圖片看一下它效果。

① 在 Controlnet 上傳一張圖片，勾選啟用，預處理器選擇 tile_resample，模型選擇對應的control_v11f1e_sd15_tile，其他參數默認。

② 選擇一個大模型( 我用的寫實風模型 realisticVisionV20），輸入提示詞“ best quality, a cute dog on grassland”，步數25，采樣方法 EularA，畫面尺寸512*512px，生成批次2，固定種子值 12345， 然后點擊點擊生成，最后得到了2張非常高清的圖像，只是細節上有輕微差別。

③ 我又用幾種不同的圖像放大工具對 64x64px 的原圖進行放大，得到的結果如下：

由于 64x64 px 分辨過于低，用一般放大工具的極限放大 4 倍也只有 256*256px；而且原圖的像素值太少，所以圖像即使變大，看著依舊模糊。而 Tile 模型則可以再有限像素值的基礎上，分塊擴散畫面的內容，最終生成與原圖相似且極為清晰的圖片。

Tile 模型還有一個特點：當提示詞與給定的圖像不符合時，Tile 會忽略提示詞的影響，轉而自動識別圖塊內部的內容，并增加識別語義的影響，從而生成與圖塊相似的圖像。

下圖是官方給的一個示例，提示詞是“"a handsome man"，指定的圖塊里卻是一片樹葉，而 Tile 的生成結果也是將樹葉放大了，沒有在樹葉里再加一個帥哥，這說明 Tile 自動識別的圖塊的內容是“樹葉”并進行了處理。

三、T2I- Adapter Style

最后給大家介紹一非常有意思的 T2I- Adapter Style 模型，它可以將一張圖片的風格遷移到另一張圖片上。我成功用 Style 模型將一張建筑照片轉為賽博朋克風的圖片，具體操作如下：

① 在 Controlnet 中點擊 Controlnet Unit 0，上傳一張 512*768 px 的建筑圖片，我們稱為主圖。勾選啟用，預處理器選擇 mlsd，并選擇對應的 mlsd 模型，以固定圖像額主體結構。點擊預處理器旁的爆炸小按鈕，預覽出圖效果。

②點開 Controlnet Unit 1, 上傳一張 512*768 px 的霓虹光效圖片，稱為副圖。勾選啟用，預處理器選擇 t2ia_style_clipvision，并選擇對應的 style 模型。

③ 選擇一個大模型（我用的是 realisticVisionV20），提示詞可以不寫，步數25，圖像尺寸 512*768 px，生成批次2，點擊生成。最終效果圖如下，霓虹光效的風格已經完美遷移到建筑照片上了。因為使用了 mlsd 模型進行結構控制，原圖的建筑結構保留得很完整。

④我將 Controlnet Unit 1 的霓虹圖像換成了一張動漫風格的圖像，看看能不能將原圖建筑變成二次元風格，結果并不理想（下圖二），想了想發現可能是大模型不對 ，于是把寫實風的realisticVisionV20 改成了 二次元風的 AnythingV3模型，配對的 VAE模型為 vae-ft-mse-840000-ema-pruned ，效果就好了很多。

使用 T2I- Adapter Style 模型需要注意：

1. 接受風格改變的主圖放在 Controlnet Unit 0，提供風格的副圖放在 Controlnet Unit 1，順序不能顛倒，不然會影響出圖效果。
2. 主圖、副圖、最終生成圖像的尺寸要保持一致。
3. 大模型的風格要與副圖（提供風格的圖片）的風格一致，才能得到最好的效果。

五、模型資源包

好了以上就是本期為大家推薦的 ControlNet V1.1 的安裝和使用教程，看完是不是得來一句 ControlNet YYDS！也感謝開發者 lllyasviel (張呂敏) 大神給我們帶來這么好用的神器。如果你有更多關于 SD 或者 AI 繪畫的問題，歡迎掃描網站底部的二維碼 ，進入我們的官方 AI 群和我交流。

本文提到的模型文件在文末可以免費下載。

本文涉及到的鏈接：

1. ?Controlnet 插件安裝： https://github.com/Mikubill/sd-webui-controlnet
2. Controlnet 1.1模型下載： https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
3. ?Controlnet V1 .1更新介紹： https://github.com/lllyasviel/ControlNet-v1-1-nightly
4. T2I- Adapter 模型下載 ： https://huggingface.co/TencentARC/T2I-Adapter/tree/main/models
5. T2I- Adapter 詳細介紹： https://github.com/TencentARC/T2I-Adapter

推薦閱讀：