大家好,這里是和你們一起探索 AI 的花生~
IP Adapter 是 SD 生態中一個非常強大的風格遷移插件,可以將一張圖像的風格復制到新生成的圖像中,有效提升我們的出圖效率,目前在設計領域有廣泛應用。
相關推薦:
最近,ComfyUI IP Adapter Plus 的作者 @cubiq 重寫了插件代碼,對整體進行了升級更新。新插件在節點搭建和模型上讀取上比之前更簡單方便,并且支持的功能也更豐富了。而最讓人驚喜的一點是 IP Adapter Plus 支持分別進行風格遷移、構圖遷移和二者的聯合使用,可以讓我們更準確地控制出圖效果。
通過新版 IP Adapter Plus 插件分別學習梵高的風格和蒙娜麗莎的構圖
但此次更新后,我們之前所有包含 IP Adapter Plus 的工作流也都無法使用了,需要用新節點重新搭建。今天就為大家詳細介紹一下新版插件的安裝使用方法。
Github 主頁: https://github.com/cubiq/ComfyUI_IPAdapter_plus (內有插件更新介紹)
- 在安裝前,我們需要將 Comfyui 更新到最新版本;如果你之前安裝過 IP Adapter Plus 插件,則需要先在 custom_nodes 內刪除之前的文件夾。
- 插件可以通過 Manager 安裝,但是更推薦在終端通過 git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus.git 命令來安裝,可以獲取最新的更新內容。
Github 主頁中對需要安裝的模型有詳細描述,下載后按要求安裝到指定路徑即可,需要注意的內容有:
- 安裝在 /ComfyUI/models/clip_vision 的兩個文件下載后需要重命名,再放到對應的文件夾內;
- 如果沒有 /ComfyUI/models/ipadapter 這個文件夾,可以自己手動新建一個;
- models/ipadapter 內的模型并不需要全部下載,目前主要使用的有 ip-adapter-plus_sd15.safetensors 和 ip-adapter-plus_sdxl_vit-h.safetensors;
- 文末網盤鏈接內有對應的模型資源,可以直接下載使用。
如果你想通過 IP Adapter Plus 保持人物臉部特征一致,則需要再下載 FaceID 模型以及對應的 Lora 模型,并安裝到指定路徑。此外還需要部署 insightface 環境,具體部署方法可以看官方給的鏈接。
以上安裝步驟完成后,記得重啟 ComfyUI。在 IP Adapter Plus 根目錄內有一個 example 文件夾,里面有官方提供的 13 個工作流,包含基礎、進階、FaceID、負面圖像、分塊等多種功能,大家可以直接導入 ComfyUI 中使用體驗。官方 Github 主頁中也有附上視頻教學鏈接,里面對新功能有詳細的介紹。
風格遷移是 IP Adapter 最重要的功能,現在又新增了構圖遷移功能,讓它能發揮的作用更大了。下面就結合工作流文件,簡單介紹一下它們的用法(工作流文件在文末云盤鏈接內)。
① 風格遷移(Style transfer)
使用風格遷移功能,需要在 IP Adapter Advanced 節點內將權重類型選為 Style transfer,目前僅支持 SDXL 模型。它可以將一張圖像的風格、氛圍完美遷移到另一個圖像上,而不會影響圖像的具體內容。使用時可以多調節 weight 參數,即使是 0.1 的調整也會帶來很不一樣的效果;也可以嘗試不同的 embeds_scaling 縮放值。
② 構圖遷移(Composition)
如果只想提取一張圖像的構圖,將 IP Adapter Advanced 節點內的 weight_type 改為 composition 就可以了。它可以學習一張圖像中人物的姿勢動作,或者畫面的主體構圖;如下圖,新生成的賽博朋克房間像在鏡頭角度、窗戶位置、家具擺放位置等方面與原圖高度相似。這種方式與 controlnet 的線條約束相比會更靈活自由,在整體效果上也會更自然合理。
③ 風格&構圖混合遷移
此功能中需要用到一個新的節點 IPAdapterStyleComposition,它支持同時導入風格參考圖像和構圖參考圖像,實現分別控制。使用時同樣可以多調整二者的權重,獲得更準確的效果。
那么以上就是本期為大家介紹的 ComfyUI 插件 IP Adapter Plus 最新版本的相關內容,文內提到的模型及工作流文件都在文末的云盤鏈接內,有需要的小伙伴可以記得下載~
ComfyUI 的學習門檻比較高,如果你想掌握它,建議先從 Stable Diffusion WebUI 開始,它更適合初學入門,學會后也能有助于我們快速掌握 ComfyUI 的用法。 我最新制作的 《零基礎 AI 繪畫入門指南》是一門面向 AI 繪畫零基礎人群的系統課程,包含 Stable Diffusion WebUI 全面細致的用法教學,并提供配套資源,能幫你快速掌握這款目前最熱門的 AI 繪畫工具。
如果有關于文章的問題,歡迎在評論區留言,或者下方的二維碼加入“優設 AI 繪畫交流群”,和我及其他 設計師 一起交流學習 AI 知識~
推薦閱讀:
參考資料:
復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。
發評論!每天贏獎品
點擊 登錄 后,在評論區留言,系統會隨機派送獎品
2012年成立至今,是國內備受歡迎的設計師平臺,提供獎品贊助 聯系我們
標志設計標準教程
已累計誕生 729 位幸運星
發表評論 為下方 8 條評論點贊,解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓