這節課我們繼續去學習 Controlnet 預處理器中的面部與姿態預處理器，這也是我們在使用 Controlnet 時最常用的一種控制方式之一，使用姿態能讓我們生成的圖像與輸入的面部與姿態數據保持一致性。

一、DW 姿態預處理器

①介紹：從圖像中提取手部、身體、面部姿態信息并生成骨架圖；

②檢測手部、身體、面部：這不用說了吧，關掉就不會生成此部位骨架圖，開啟就會生成此部位骨架圖；

③BBox 檢測：邊界框檢測器，用于檢測圖像中的對象并標識其位置（比如用來框選空姐在圖中的位置）；

④姿態預估：姿態預估模型，通過此模型提取人/動物的姿態特征，也是我們這個預處理器最重要的算法；

⑤姿態關鍵點：用來保存姿態關鍵點成 json 文件和給姿態關鍵點面部上色的，左鍵點住向外拖就能看到“保存姿態關鍵點”和“姿態關鍵點面部上色”。

⑥對應模型：

1. SD1.5 模型：control_v11p_sd15_openpose、t2iadapter_openpose_sd14v1
2. SDXL 模型：暫無

⑦效果預覽：

二、Openpose 姿態預處理器

①介紹：從圖像中提取手部、身體、面部姿態信息并生成骨架圖，效果不如 DW 姿態預處理器；

②檢測手部、身體、面部：同 DW 姿態預處理器；

③對應模型：

1. SD1.5 模型：control_v11p_sd15_openpose、t2iadapter_openpose_sd14v1
2. SDXL 模型：暫無

④效果預覽：

三、Dense 姿態預處理器

①介紹：通過不同顏色來區分人體部位，達到控制姿態的效果。實際上 Dense 應該歸類為語義分割（我們后面會講），從控制效果上來說不如我們說過的 DW 姿態 靈活；

②模型：有兩個模型 r50 和 r101，我們用 r50 就可以，這個檢測的效果最好；

③色彩映射：色彩映射是一種將數據值映射到顏色的過程，通過色彩映射，可以使用不同的顏色來表示數據的不同數值。這些顏色來自于預定義的調色板，我們這里選擇的就相當于另一個調色板（色彩映射不改變圖像的細節或數據本身，只是改變了用來表示數據的顏色）；

④對應模型：

1. SD1.5 模型：controlnetFor_v10
2. SDXL 模型：暫無

⑤效果預覽：

⑥說個題外知識：

如果有同學們了解過字節開源的 Magic Animate 可能會對處理后的圖像眼熟。沒錯，字節的這個項目就用到了 DensePose，我們給一個圖片和 DensePose 就能得到一個視頻（如下）；

青龍大佬做了這個項目的整合包，也有 ComfyUI 作者寫了這個項目的插件，讓我們可以在 ComfyUI 上使用，也有個部署在 Hugging Face 上的可以免費使用。感興趣的可以研究一下，我就不多介紹了（建議使用青龍大佬的整合包，更方便一些）。

1. 青龍大佬的整合包： https://www.bilibili.com/video/BV13b4y1j71m/?
2. ?ComfyUI-MagicAnimate 插件： https://github.com/thecooltechguy/ComfyUI-MagicAnimate
3. Hugging Face 體驗地址： https://huggingface.co/spaces/zcxu-eric/magicanimate

注意：顯存至少 12GB；

四、MediaPipe 面部網格預處理器

①介紹：通過對圖像人臉識別實現面部穩定，比如我們要生成一個有特定表情的人物，但是關鍵詞并不能詳細的描述出來，我們就可以找一張這個表情的圖像進行識別?，F在用的比較少，DW 姿態預處理器完全可以代替；

②最大面部數量：指定最大檢測的面部個數（最多識別 50 個）；

③最小置信度：指定判定為面部的最小閾值（數值不是越大越好，識別效果，取決于加載圖像的質量）；

④對應模型：

1. SD1.5 模型：control_v2p_sd15_mediapipe_face
2. SDXL 模型：暫無

⑤效果預覽：

五、AnimaIPose 動物姿態預處理器

①介紹：從圖像中提取動物骨骼姿態；

②BBox 檢測：邊界框檢測器，用于檢測圖像中的對象并標識其位置（比如用來框選薩摩耶在圖中的位置）

③姿態預估：姿態預估模型，通過此模型提取人/動物的姿態特征，也是我們這個預處理器最重要的算法；

④對應模型：

1. SD1.5 模型：control_sd15_animal_openpose_fp16
2. SDXL 模型：暫無

⑤效果預覽：