一、川言川語

大家好，我是言川。本期文章是 2024 年的第一篇文章，也是 2023 年農歷的最后一篇文章。截至這篇文章完成時，距離春節也只有最后一周的時間了，我無法單獨向支持我的朋友們傳達祝福之意。所以在本篇文章的開頭，向大家說一些祝福之詞：

2024 年，祝大家在新的一年里事業有成，大展宏圖，前程似錦。同時在事業之外，祝大家健康、快樂以及幸福。

2024 年，辰龍年，祝大家龍飛鳳舞，事業騰飛；祝大家金龍獻瑞，好運連連；祝大家龍年吉祥，幸福安康。

最后，新年快樂，準備準備回家吃餃子咯~

二、生成式 AI 回顧

開始我們本篇文章的主題吧。生成式 AI 開始在國內爆發的時間是 2023 年 2 月底（炒的最熱階段），當時是在的 ChatGPT 引領下，一眾 AI 生成式工具被我們所知曉。在圖像生成領域，最為出名的幾個工具是 Midjourney、StableDiffusion 和 Dall -E3。

盡管當時 Midjourney V4 版本模型生成的圖片質量已經是非常的驚艷，但是還遠遠沒有讓大多數設計師引起足夠的重視，原因也很簡單，對于設計師來說，可商業化的工作流才是核心。

直到在 2023 年 3 月中下旬時，StableDiffusion 的教程開始如雨后春筍般拔地而起，相信你一定看到過類似的教程：二次元線稿上色、模特換裝、二維圖像轉三維等等。這相比于 Midjourney 給設計師們帶來的驚艷，StableDiffusion 的這些操作可謂是震驚了設計圈，讓會 AI 和不會 AI 的設計師們都坐不住了，當然也包括我。之后我也是趕緊開始投入 StableDiffusion 的研究中。

而這一切都得益于一個插件：Controlnet。它可以對圖像進行精準控圖，相比于 Midjourney，它似乎更適合大多數設計場景。

以上為個人觀點，不喜勿噴

在 StableDiffusion 設計中幾乎每一個商業場景都離不開 Controlnet 插件的加持，對此我想再寫一篇 Controlnet 詳細教程，本篇教程會詳細的介紹大部分常用的 Controlnet 模型，如果你還不知道如何操作使用 Controlnet，我建議你看看我在 2023 年 5 月份寫的這篇文章：

三、Controlnet 模型詳解

1. 電腦配置單

在正式開始我們 controlnet 的講解之前，我為大家準備了 3 套不同的電腦配置單。

之前也有大部分的朋友都來問我，如何搭配一臺能玩 StableDiffsion 的電腦。所以在本篇文章中我就直接公布出來，只作為建議參考。

其實能穩定的運行 StableDiffsion 進行生圖，最重要的配置就是顯卡顯存，我們在使用 controlnet 的時候，也會加大顯存的占用，所以最核心的就是顯存。其他配置都是圍繞著該顯卡進行搭配，畢竟要使顯卡能完美的發揮出它的性能，其他配置也得跟上。

2. 官方模型

目前最新的controlnet模型分為ControlNet 1.1模型和ControlNet XL模型。

ControlNet 1.1模型支持基于SD1.5、2.1訓練的大模型上。而ControlNet XL模型支持基于SD XL訓練的大模型上。

它們雖然是屬于兩個不同版本的模型，但是使用方法和原理都是一樣的。所以本文只介紹ControlNet 1.1模型，Controlnet XL模型大家對應著預處理器和模型看即可。

目前 ControlNet 1.1 官方發布的模型有 14 個模型，其中包含 11 個完整模型以及 3 個測試模型。下面我就開始詳細介紹一下這些模型的作用。

以下所有的模型演示案例，固定參數為：

1. 負面關鍵詞用大家常用的模板即可；
2. 迭代步數 30、采樣方法 DPM++ 2M Karras；
3. 尺寸與上傳 controlnet 圖一致

①ControlNet 1.1 Depth

1. Stable Diffusion的深度圖
2. 模型文件：control_v11f1p_sd15_depth.pth

介紹：生成一張立體深度圖，白色越亮的地方越靠前，越灰的地方越靠后，記錄原圖的空間信息，可作用在生成圖上，如下圖。

實操案例：

大模型：AWPainting_v1.2.safetensors

正向關鍵詞：
((upper body portrait, An African black girl is happy and laughing:1.2)) ((pure blue background)),A delicate figure appears ethereal,with translucent wings and a gown reminiscent of frost. Her attire is a blend of innocence and otherworldliness,suggesting she may be a sprite or fairy from a winter realm,radiating a serene presence.,

上傳原圖，并且使用 Depth midas 預處理器，切換 depth 模型，保存默認的 controlnet 設置，即可通過深度圖生成一張與原圖人物姿勢類似的圖。人物細節和圖片風格可以通過大模型和關鍵詞控制。

②ControlNet 1.1 Normal

1. 使用法線圖控制Stable Diffusion
2. 模型文件：control_v11p_sd15_normalbae.pth

介紹：與 depth 類似，預處理出來的圖片在 3D 里叫法線貼圖。通過凹凸的法線貼圖記錄空間信息，適合細節信息比較多的圖片。

實操案例：

大模型：AWPainting_v1.2.safetensors

正向關鍵詞：
scenery,chair,(ocean:1.3),table,lamp,indoors,sky,plant,water,horizon,window,door,flower pot,potted plant,wooden floor,book,shelf,HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,

上傳真實的室內設計場景，通過 Normal 模型獲取原圖的空間信息和物體信息，用二次元風格的大模型即可完成圖片風格的次元轉換，Normal 的控制效果可謂是非常精準了。

③ControlNet 1.1 Canny

1. 使用Canny圖控制Stable Diffusion
2. 模型文件：control_v11p_sd15_canny.pth

介紹：提取圖片中物體的輪廓線，AI 根據提取的輪廓重新生成一張與原圖細節類似的圖片。

實操案例：

大模型：disneyPixarCartoon_v10.safetensors

正向關鍵詞：
deer,outdoors,tree,blurry,grass,animal,nature,blurry background,antlers,day,animal focus,solo,horns,
HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,

使用 canny 預處理器和模型，控制鹿的形體和身體細節之處，然后通過大模型和關鍵詞的配合，即可生成與上傳圖非常非常相似的鹿。還可以控制背景元素，這是我們在生圖中最常用的模型之一。

④ControlNet 1.1 MLSD

1. 使用M-LSD直線控制Stable Diffusion
2. 模型文件：control_v11p_sd15_mlsd.pth

介紹：提取圖片中物體的直線條，彎曲線條不會被提取。適合做室內設計和建筑設計這種直線結構的圖。

實操案例：

大模型：majicMIX realistic 麥橘寫實_v7.safetensors

正向關鍵詞：
couch,scenery,lamp,table,book,indoors,wooden floor,carpet,chair,plant,bookshelf,rug,shelf,ceiling light,door,
HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,

MLSD 模型在室內設計中最為常用，上傳原始室內圖，控制室內空間內的直線條，通過不同的關鍵詞和大模型即可完成相同空間內不同風格的室內設計樣板圖。

⑤ControlNet 1.1 Scribble

1. 使用涂鴉控制Stable Diffusion
2. 模型文件：control_v11p_sd15_scribble.pth

介紹：提取圖片中物體的大輪廓，不會像 canny 一樣提取精細化的線條，保留人物（物體）的外輪廓，細節會根據關鍵詞發生改變。

實操案例（與 canny 模型一樣的案例）：

大模型：disneyPixarCartoon_v10.safetensors

正向關鍵詞：
deer,outdoors,tree,blurry,grass,animal,nature,blurry background,antlers,day,animal focus,solo,horns,
HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,

相比于 canny 硬邊緣控制，scribbble 相對比較柔和，在細節之處更多的是由 AI 來發揮生成，所以它的控制力不如 canny，適合展現創造力的圖片。看下面生成的鹿和背景，只是控制了鹿的大概形體，其他地方則由 AI 發揮生成。

⑥ControlNet 1.1 Soft Edge

1. 使用柔和邊緣控制Stable Diffusion
2. 模型文件：control_v11p_sd15_softedge.pth

介紹：提取圖片中物體的輪廓線，與 canny 不同的是他會首先提取物體大的輪廓線，然后其他地方會有細的線。相當于 canny 與 scribble 的結合，粗粗細細的。

實操案例：

大模型：majicMIX alpha 麥橘男團_v2.0.safetensors

正向關鍵詞：
best quality,hyper quality,8k,ultra detail,realistic,RAW photo,dslr,soft lighting,film grain,Fujifilm XT3,Screen Space Refraction,high detailed skin,natural skin texture,Canon 5D,high details,(masterpiece),(best quality),ultra hi res,realistic,handsome male,young guy,asian male,blurry background,shirt,blurry,white shirt,1boy,male focus,hands in pockets,realistic,upper body,

與上面說的一樣，它相當于 Canny 與 Scribble 結合，能通過預處理精準控制圖片中的物體，可以對比這幾個模型的預處理出來的草稿圖，他們對形體的控制力度會有區別，也是比較常用的模型。

⑦ControlNet 1.1 Segmentation

1. 使用語義分割控制Stable Diffusion
2. 模型文件：control_v11p_sd15_seg.pth

介紹：設計中的語義分割圖，根據色塊生成不同的物體，識別物體對應色塊進行畫面的區分，然后根據關鍵詞的描述生成該物體在圖片中的樣子。

這個表格是用在“seg”這個模型上的，可以通過顏色來控制物體在畫面出現的區域。

實操案例：

大模型：majicMIX realistic 麥橘寫實_v7.safetensors

正向關鍵詞：
scenery,outdoors,ocean,sky,day,beach,shore,cloud,water,stairs,horizon,landscape,tree,
HDR,UHD,8K,best quality,highres,absurdres,masterpiece,

它的原理是把圖像中的物體，按照語義分割圖的規則分割成色塊，每個色塊都對應著一個物體，比如青藍色是天空，草木是綠色，通過這樣的方式控制圖片中的元素，也是比較常用的模型。

⑧ControlNet 1.1 Openpose

1. 使用Openpose控制Stable Diffusion
2. 模型文件：control_v11p_sd15_openpose.pth

介紹：識別人物的姿勢、面部、手臂，生成骨架圖，AI 根據骨架圖可以很好的還原原圖上的人物形態。

實操案例：

大模型：AWPainting_v1.2.safetensors

正向關鍵詞：
1girl,orange shoes,solo,sitting,sky,clouds,outdoors,black hair,bird,upward view,blue sky,white socks,daytime,orange jacket,building,long sleeves,leaves,long hair,stairs,red headband,pump Rope,headband,bangs,cloudy sky,from_below,wide_shot,

上傳人物圖，可以通過 openpose 控制生成人物骨架圖，通過不同的大模型和關鍵詞，生成與原圖人物姿勢一樣，但是風格不一樣的圖片，做人物類的圖片少不了用它。

⑨ControlNet 1.1 Lineart

1. 使用線條藝術控制Stable Diffusion
2. 模型文件：control_v11p_sd15_lineart.pth

介紹：精準的控制物體的線條，并自動對線條進行藝術化處理，與 canny 類似，適合做一些偏藝術類的圖片，簡單說可以幫我們把圖片轉成手繪線稿圖。

實操案例：

大模型：AWPainting_v1.2.safetensors

正向關鍵詞：
flower,white flower,no humans,bug,orange flower,red flower,butterfly,black background,leaf,pink flower,plant,daisy,fruit,yellow flower,lily (flower),purple flower,still life,HDR,UHD,8K,best quality,highres,absurdres,masterpiece,

這個模型提取出來的線條就類似我們手繪出來的線稿圖一樣，對于藝術類的圖片控制重繪的效果比較合適，可以看到下圖生成出來的效果是非常精準的。

⑩ControlNet 1.1 Anime Lineart

1. 使用動漫線條藝術控制Stable Diffusion
2. 模型文件：control_v11p_sd15s2_lineart_anime.pth

介紹：專門做動漫線稿上色的模型，提取圖片線稿，然后進行上色處理，也可以直接上傳線稿上色。

實操案例：

大模型：AWPainting_v1.2.safetensors

正向關鍵詞：
(masterpiece),(best quality:1.2),official art,(extremely detailed CG unity 8k wallpaper),(photorealistic:1.4),1girl,future technology,science fiction,future mecha,white mecha,streamlined construction,internal integrated circuit,upper body,driver's helmet,

把人物線稿上傳后，使用 lineart 進行黑白反色處理，根據大模型風格和關鍵詞描述，即可對手繪線稿上色，這也是最常用的線稿上色方式。

?ControlNet 1.1 Shuffle

1. 使用內容洗牌控制Stable Diffusion
2. 模型文件：control_v11e_sd15_shuffle.pth

介紹：風格遷移，把原圖的顏色信息打亂，然后為生成圖片添加原圖的顏色信息。簡單來說就是讓 AI 學習原圖的風格，然后賦予到新的圖片上。

實操案例：

大模型：majicMIX realistic 麥橘寫實_v7.safetensors

正向關鍵詞：
crosswalk,city,night,real world location,street,crowd,road,6+boys,outdoors,scenery,people,building,neon lights,sign,cityscape,6+others,multiple boys,multiple others,multiple girls,english text,city lights,HDR,UHD,8K,best quality,absurdres,masterpiece,Highly detailed,

實測下來，不是特別理想。可能在一些小眾場景中可以用到。

?ControlNet 1.1 Instruct Pix2Pix

1. 使用指令式Pix2Pix控制Stable Diffusion
2. 模型文件：control_v11e_sd15_ip2p.pth

介紹：指令性模型，與其他的模型都不一樣，它是上傳一張圖片后，給他發送一串指令關鍵詞。比如下面的圖片，給他發送：“讓它著火”，但是目前只支持一些簡單的指令，還不成熟。

實操案例：

大模型：majicMIX realistic 麥橘寫實_v7.safetensors

正向關鍵詞：
Set him on fire.

上傳圖片后，在正向關鍵詞中描述：讓它著火，就出現了如下的圖片，嘗試了更為復雜的指令，確實識別不出來，目前也就適合拿來玩一下。

?ControlNet 1.1 Inpaint

1. 使用修復控制Stable Diffusion
2. 模型文件：control_v11p_sd15_inpaint.pth

介紹：與圖生圖的局部重繪類似，它會比局部重繪生成的圖與原圖更融合，且操作更簡單。

實操案例：

大模型：majicMIX alpha 麥橘男團_v2.0.safetensors

正向關鍵詞：
1boy,male focus,solo,pants,facial hair,jewelry,shirt,realistic,bracelet,looking at viewer,tattoo,short hair,white shirt,blurry background,black hair,blurry,belt,necklace,beard,dark skin,white pants,

上傳圖片，按住 S 鍵放大原圖，然后用畫筆涂抹人物頭部區域，點擊生成就會給我們換頭處理。如下圖，我沒有開高清修復和 After Detailer，所以面部融合不是很自然。

開啟高清修復和 After Detailer 后，頭部質量明顯提升，而且融合的相對比較自然，實測比圖生圖中的重繪幅度好用很多。

?ControlNet 1.1 Tile

1. 使用瓷磚控制Stable Diffusion
2. 模型文件：control_v11f1e_sd15_tile.pth

介紹：讓一張模糊的圖片變成高清的圖片，或者是讓一張不清晰的圖變成超多細節的圖。可作用于老照片修復，圖片高清化處理，非常的強大。

實操案例（老照片修復）：

大模型：RealisticVisionV2.0

圖生圖反推關鍵詞：
one family,dad,mom,the daughter sat on the bike,asiatic,
photo,shoot,(best quality:1.4),((absurdres)),(realistic:1.3),(masterpiece:1.3),Highly detailed,

啟用 Tiled Diddusion 和 Tiled VAE，放大算法切換為 R-ESRGAN 4X+，放大倍數 2 倍。

啟用 controlnet，上傳老照片，使用 tile 模型，點擊生成即可得到一張修復后的高清大圖。

3. 非官方發布模型

①reference

1. 使用參考圖控制Stable Diffusion
2. 模型文件：無模型文件

介紹：可以理解為墊圖，AI 會根據上傳的圖片進行物體和風格的參考進行重新繪制，也可以通過關鍵詞描述改變物體動作或形態。

實操案例：

大模型：RealisticVisionV2.0

正向關鍵詞：
dog, on the grass, run

reference 沒有模型，只有一個預處理器，上傳圖片后，在正向關鍵詞中輸入描述詞就可以生成與原圖類似風格的圖片效果。

②recolor

1. 使用重上色控制Stable Diffusion
2. 模型文件：ioclab_sd15_recolor

介紹：為照片重新上色，比如黑白照片上色，也可以通過關鍵詞指定顏色（下圖無關鍵詞）。

大模型：RealisticVisionV2.0

正向關鍵詞：red

啟用 controlnet，上傳黑白照片，在正向關鍵詞中輸入“紅色”關鍵詞，點擊生成之后，照片的整體色調就被賦予了紅色，如果想換成其他色調可通過調整關鍵詞切換。

以上就是本篇 controlnet 模型的全部拆解，不知道大家對每一個模型是否都了解了，下面我給大家演示一個通過 controlnet 插件完成背景生成的案例。

四、人物背景生成

1. 前期準備

下面這個案例就是為二次元人物生成一個背景：

我們這個案例的思路就是通過圖生圖-上傳重繪蒙版功能生成背景，用 controlnet 控制背景生成的準確度。在前期的素材準備方面，準備一張白底圖和黑白蒙版圖。

然后就是大模型和 Lora，因為我們主體是一個動漫二次元人物，所以我們的大模型和 lora 也需要用到同一風格的。

大模型：AWPainting_v1.2.safetensors 丨 Lora：新春龍年春節插畫 _v2.0

正向關鍵詞描述你想讓畫面出現的元素：

chunjieV2,scenery,lantern,outdoors,snow,architecture,east asian architecture,sky,day,paper lantern,building,blue sky,solo,winter,Spring Festival,Celebration,Chinese New Year,Celebration,Traditional Chinese architecture,scene,,

春節，風景，燈籠，戶外，雪，建筑，東亞建筑，天空，天，紙燈籠，建筑，藍天，獨奏，冬天，春節，慶典，春節，慶典，中國傳統建筑，場景

Lora 權重 0.8，反向關鍵詞可自己選擇通用的。

2. 基礎生圖

前期準備工作完成后，就可以把這些素材填充到 web-ui 中了。

在上傳重繪蒙版這里，需要注意兩點：

1. 蒙版模糊度 10，蒙版模式為重繪非蒙版內容；
2. 重繪幅度為 1，因為我們需要 AI 100%參與生成。

設置完上面一部分后，如果你點擊生成，那你的背景一定會有問題，因為我們只通過黑白蒙版是無法精準控制整個畫面的，我們還需要使用 controlnet 進一步控制：

單元一：設置 lineart 預處理器和模型，控制人物身體線稿，確保背景不會出現另外一個角色；

單元二：設置 inpaint 預處理器和模型，這個局部重繪會讓人物和背景更加融合（可以不上傳原圖）。

以上步數設置完成后，點擊生成，我們就為人物添加上了背景。

但是現在你會發現整張圖片的質量并不高，人物在場景中沒有光影變化，所以我們還需進行后續的修復：

我們可以批量生成 8 張圖，挑選一張你所滿意的圖片，發送到圖生圖。

3. 后期修復

先把生成圖發送到圖生圖，然后重繪幅度設置為 0.3，設置 tiled diffusion 和 tiled VAE 插件。

在 controlnet 這里設置 tile 模型進行細節的修復，點擊生成之后我們就得到了一張高清修復后的圖片。

到此處你還會發現，生成后的人物主體發生了變化，那是因為我們的重繪幅度 0.3 影響了人物主體。但是我們如果設置更小的重繪幅度，整個場景包括人物的光影細節都不會有變化，所以我們可以讓 SD 休息會了，剩下的交給 Photoshop 來修復。

到 PS 中，我們就可以把原圖的人物覆蓋上去，然后各位就在 PS 中各顯神通，把原圖用圖層蒙版功能涂涂抹抹，最后我們就得到了一張高清的二次元新春圖了。

五、結語

以上就是本教程的全部內容了，重點介紹了 controlnet 模型，當然還有一些小眾的模型在本次教程中沒有出現，目前 controlnet 模型確實還挺多的，所以重點放在了官方發布的幾個模型上。

熟悉并掌握每個模型的作用后，你就可以靈活的在 web ui 中使用這些模型，還有各種模型之間的搭配。本教程的案例只是眾多商業化設計中的一個操作流程，之后我還會分享更多的商業設計工作流，你可以在我的主頁獲取鏈接我的方式，期待與大家的交流。

最后最后，新年快樂啦，發布上線本篇教程后，我就溜溜球了，放假放假~