文件名 如何下載使用 文件大小 提取碼 下載來源
IP Adapter8.6G6666 點此復制 登錄下載

IP Adapter Plus 插件手把手教程!用法更簡單,可分別控制風格與構圖

大家好,這里是和你們一起探索 AI 的花生~

IP Adapter 是 SD 生態中一個非常強大的風格遷移插件,可以將一張圖像的風格復制到新生成的圖像中,有效提升我們的出圖效率,目前在設計領域有廣泛應用。

相關推薦:

最近,ComfyUI IP Adapter Plus 的作者 @cubiq 重寫了插件代碼,對整體進行了升級更新。新插件在節點搭建和模型上讀取上比之前更簡單方便,并且支持的功能也更豐富了。而最讓人驚喜的一點是 IP Adapter Plus 支持分別進行風格遷移、構圖遷移和二者的聯合使用,可以讓我們更準確地控制出圖效果。

IP Adapter Plus 插件手把手教程!用法更簡單,可分別控制風格與構圖

通過新版 IP Adapter Plus 插件分別學習梵高的風格和蒙娜麗莎的構圖

但此次更新后,我們之前所有包含 IP Adapter Plus 的工作流也都無法使用了,需要用新節點重新搭建。今天就為大家詳細介紹一下新版插件的安裝使用方法。

一、插件安裝

Github 主頁: https://github.com/cubiq/ComfyUI_IPAdapter_plus (內有插件更新介紹)

  1. 在安裝前,我們需要將 Comfyui 更新到最新版本;如果你之前安裝過 IP Adapter Plus 插件,則需要先在 custom_nodes 內刪除之前的文件夾。
  2. 插件可以通過 Manager 安裝,但是更推薦在終端通過 git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus.git 命令來安裝,可以獲取最新的更新內容。

IP Adapter Plus 插件手把手教程!用法更簡單,可分別控制風格與構圖

二、安裝基礎模型

Github 主頁中對需要安裝的模型有詳細描述,下載后按要求安裝到指定路徑即可,需要注意的內容有:

  1. 安裝在 /ComfyUI/models/clip_vision 的兩個文件下載后需要重命名,再放到對應的文件夾內;
  2. 如果沒有 /ComfyUI/models/ipadapter 這個文件夾,可以自己手動新建一個;
  3. models/ipadapter 內的模型并不需要全部下載,目前主要使用的有 ip-adapter-plus_sd15.safetensors 和 ip-adapter-plus_sdxl_vit-h.safetensors;
  4. 文末網盤鏈接內有對應的模型資源,可以直接下載使用。

IP Adapter Plus 插件手把手教程!用法更簡單,可分別控制風格與構圖

IP Adapter Plus 插件手把手教程!用法更簡單,可分別控制風格與構圖

三、安裝 FaceID 模型

如果你想通過 IP Adapter Plus 保持人物臉部特征一致,則需要再下載 FaceID 模型以及對應的 Lora 模型,并安裝到指定路徑。此外還需要部署 insightface 環境,具體部署方法可以看官方給的鏈接。

IP Adapter Plus 插件手把手教程!用法更簡單,可分別控制風格與構圖

四、導入工作流

以上安裝步驟完成后,記得重啟 ComfyUI。在 IP Adapter Plus 根目錄內有一個 example 文件夾,里面有官方提供的 13 個工作流,包含基礎、進階、FaceID、負面圖像、分塊等多種功能,大家可以直接導入 ComfyUI 中使用體驗。官方 Github 主頁中也有附上視頻教學鏈接,里面對新功能有詳細的介紹。

IP Adapter Plus 插件手把手教程!用法更簡單,可分別控制風格與構圖

五、風格/構圖遷移功能

風格遷移是 IP Adapter 最重要的功能,現在又新增了構圖遷移功能,讓它能發揮的作用更大了。下面就結合工作流文件,簡單介紹一下它們的用法(工作流文件在文末云盤鏈接內)。

① 風格遷移(Style transfer)

使用風格遷移功能,需要在 IP Adapter Advanced 節點內將權重類型選為 Style transfer,目前僅支持 SDXL 模型。它可以將一張圖像的風格、氛圍完美遷移到另一個圖像上,而不會影響圖像的具體內容。使用時可以多調節 weight 參數,即使是 0.1 的調整也會帶來很不一樣的效果;也可以嘗試不同的 embeds_scaling 縮放值。

IP Adapter Plus 插件手把手教程!用法更簡單,可分別控制風格與構圖

② 構圖遷移(Composition)

如果只想提取一張圖像的構圖,將 IP Adapter Advanced 節點內的 weight_type 改為 composition 就可以了。它可以學習一張圖像中人物的姿勢動作,或者畫面的主體構圖;如下圖,新生成的賽博朋克房間像在鏡頭角度、窗戶位置、家具擺放位置等方面與原圖高度相似。這種方式與 controlnet 的線條約束相比會更靈活自由,在整體效果上也會更自然合理。

IP Adapter Plus 插件手把手教程!用法更簡單,可分別控制風格與構圖

③ 風格&構圖混合遷移

此功能中需要用到一個新的節點 IPAdapterStyleComposition,它支持同時導入風格參考圖像和構圖參考圖像,實現分別控制。使用時同樣可以多調整二者的權重,獲得更準確的效果。

IP Adapter Plus 插件手把手教程!用法更簡單,可分別控制風格與構圖

那么以上就是本期為大家介紹的 ComfyUI 插件 IP Adapter Plus 最新版本的相關內容,文內提到的模型及工作流文件都在文末的云盤鏈接內,有需要的小伙伴可以記得下載~

ComfyUI 的學習門檻比較高,如果你想掌握它,建議先從 Stable Diffusion WebUI 開始,它更適合初學入門,學會后也能有助于我們快速掌握 ComfyUI 的用法。 我最新制作的 《零基礎 AI 繪畫入門指南》是一門面向 AI 繪畫零基礎人群的系統課程,包含 Stable Diffusion WebUI 全面細致的用法教學,并提供配套資源,能幫你快速掌握這款目前最熱門的 AI 繪畫工具。

如果有關于文章的問題,歡迎在評論區留言,或者下方的二維碼加入“優設 AI 繪畫交流群”,和我及其他 設計師 一起交流學習 AI 知識~

IP Adapter Plus 插件手把手教程!用法更簡單,可分別控制風格與構圖

推薦閱讀:

參考資料:

  1. https://www.youtube.com/watch?v=c8HWDQ67Dvg
  2. https://www.bilibili.com/video/BV1CA4m1A7Y9/
  3. https://www.youtube.com/watch?v=czcgJnoDVd4&t=2s
  4. https://www.youtube.com/watch?v=_JzDcgKgghY
文件名 如何下載使用 文件大小 提取碼 下載來源
IP Adapter8.6G6666 點此復制 登錄下載
贊賞
收藏 56
點贊 38

復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。