推薦閱讀

目前使用 Stable Diffusion 進行創作的工具主要有兩個：WebUI 和 ComfyUI。而更晚出現的 ComfyUI 憑借超高的可定制性和復現性迅速火遍全球。有設計師表示 SD 發布了 XL1.0 后，ComfyUI 用它優秀的底層邏輯率先打擊了臃腫不穩定的 WebUI1.6，成為更適合“體驗”XL 的 SD 生圖工具。

本文就來具體介紹一下 ComfyUI 是什么？為什么好？怎么用？

一、ComfyUI 簡介

ComfyUI 是一個專為 Stable Diffusion 設計的基于節點的圖形用戶界面（GUI），簡單來說就是將整個圖像生成過程分解為多個獨立的節點，每個節點都有自己獨立的功能，例如加載模型，文本提示，生成圖片等等。每個模塊通過輸入和輸出的線連在一起變成一個完整的工作流。

整個過程用戶可以靈活的調整和配置不同的功能節點，這就代表整個模型更加自由，控制更加精準。

二、LDM 底層邏輯

相比于 WebUI，ComfyUI 的工作流模式更加貼近 Stable Diffusion 的底層運行邏輯，這對于新手來說有一定的學習門檻，但是在完全掌握以后使用 ComfyUI 將會變得非常輕松，同時在 AI 盛行的時代，懂得一些底層邏輯也有助于設計師后續的發展。所以本文將結合 SD 的底層邏輯和大家簡單解釋 ComfyUI 的基礎節點。

Stable Diffusion 之所以叫 Stable，是因為公司叫 StabilityAI。其基礎模型是 Latent Diffusion Model（LDM），翻譯為潛在擴散模型，可以理解為主要的圖片生成流程都在一個叫「latent space（潛在空間）」的魔法盒子里進行。

圖片在這個空間存在的方式是我們無法識別的向量，我們只需要知道這些我們無法識別的東西所表示的信息和圖片相差無幾，但是數據尺寸卻變得非常小就行，這是一個類似于壓縮的過程，所以在這個空間中進行運行可以大大縮小運行內存。

這個過程可以簡單理解為，向潛在空間輸入文件，數據經過處理生成圖片并輸出。

以文本生圖為例，我們現在來解釋整個流程中包含的節點及作用。

輸入文件包含了我們熟知的常規內容：文本和圖片，也就對應著 Text2Image 和 Image2Image。但是文本內容計算機是無法理解的，所以我們需要將文本轉換為計算機能夠理解的信息，這個過程使用了 Clip 模型。（圖片的轉換是使用了 VAE 模型）

熟悉 WebUI 的朋友可以知道，控制模型實際生成部分的模型是 KSampler（采樣器），在這其中我們可以控制迭代次數，種子數等等。而這個步驟就發生在潛在空間中。

我們在前面的內容可以知道，潛在空間的內容不是人類可以讀取的內容，文本的輸入需要轉換，同樣圖片的輸出也需要轉換，這個過程同樣使用了 VAE 模型。

這就是最基礎的文生圖過程，現在再回看 ComfyUI 的基礎模型是不是會清晰很多。

而整個工作流的運行由大模型控制，所以在工作流以 CheckPoint 節點加載擴散模型為起點，CheckPoint 節點還會提供適當的 VAE 和 Clip 模型。但這并不影響工作流中使用自己選擇的 VAE 和 Clip 模型。

到這里我們就已經完全了解了一個最基礎的文生圖過程和相對應的 ComfyUI 節點，更多進階內容大家都可以更加深入的探索。

三、與 WebUI 的差異

作為現在最火爆的兩大創作工具，WebUI 開箱即用，基本功能齊全，社區也有很多的插件支持，入門比較簡單，適合新手，但是可定制性稍微差點，很多作品不容易傳播復現，使用 API 進行操作也有一定的難度。

ComfyUI 雖然出來的晚一點，但是它的可定制性很強，可以讓創作者搞出各種新奇的玩意，通過工作流的方式，也可以實現更高的自動化水平，創作方法更容易傳播復現，發展勢頭特別迅猛。兩者對比有非常多顯著的差別。

1. ComfyUI 對顯卡比較友好

即使是 GPU 小于 3G 的情況下也能正常工作。它占用的顯存更少，在相同顯存條件下能夠生成更大尺寸的圖像。同時，Mac 電腦也能順利運行 ComfyUI（建議 M1 以上的電腦使用），雖然依舊達不到 Windos 的運行效率，但這也給 Mac 用戶提供了一個可以使用 SD 生圖的機會。而 WebUI 近乎拋棄了 12G 顯存以下的用戶，顯存使用效率較低，更不提 Mac 用戶。

2. ComfyUI 運行效率極大的提高

設計師通過 ComfyUI 和 Automatic1111 WebUI 運行了一批 20 張圖像，以查看每張圖像的總時間。這些圖像基于 Stable Diffusion 1.5 模型，分辨率為 512x768。作為參考，使用的是 RTX 3060（12GB VRAM）。最后的結果如下

WebUI 要花費 ComfyUI 兩倍多的時間，這是一個相當大的差距。當你使用 SD 生成視頻渲染每一幀時這種時間差異會更加明顯。

3. ComfyUI 可以實現實時預覽

用戶能夠即時看到生成結果。這歸功于節點拼接的高自由度，你可以在任何一個位置插入圖片生成的功能節點，這樣就可以在你想要預覽圖片的位置實時預覽圖片生成效果。

4. ComfyUI 可以完全實現工作流的復用

ComfyUI 的工作流可以單獨作為 Json 文件保存，你可以通過下載的工作流文件直接使用理想效果的工作流，也可以在這份文件上進行任意的修改和添加。值得注意的是，通過 ComfyUI 生成的圖片原文件也保留著工作流數據，也就是說，你只要下載社交媒體上設計師上傳的圖片原文件拖拽放入 ComfyUI 中，工作流會被立刻復現。

5. 與 WebUI 共通模型

WebUI 與 ComfyUI 本質都是使用 Stable Diffusion 大模型進行生圖，只是使用方式不同，所以如果你是 WebUI 的老用戶，你可以直接將 WebUI 中使用的模型與 ComfyUI 共通，過程非常簡單，后面會提到。

四、使用技巧

在這里為新手的設計師提供一些你一定會用到的使用技巧：

1. ComfyUI Manager

ComfyUI 是完全通過節點組成，所以下載不同的節點是最開始就會遇到的問題。ComfyUI Manager 作為一個節點，你可以將它看作一個插件，它可以下載幾乎所有你能使用到的節點，并且提供了更新、管理自定義節點等等的功能。下載了它幾乎等于你不會再通過 Github 安裝節點。

安裝完成 ComfyUI Manager 后，重啟 ComfyUI，在右邊可以找到一個「manager」點擊就可以進入插件界面。

其中有兩個最常用的功能就是搜索安裝節點和一鍵安裝工作流中的所有缺失節點。

ComfyUI Manager：github.com/ltdrdata/ComfyUI-Manager

2. 將 WebUI 中的模型導入 ComfyUI

用過 WebUI 的設計師應該已經下載了很多自己順手的模型，這些模型在 ComfyUI 中也是通用的，所以我們只需要共享這些模型就可以使用

具體流程如下：

1. 在 ComfyUI 目錄中，有一個 extra_model_paths.yaml.example 文件，將其重命名為 extra_model_paths.yaml
2. 打開該文件，找到 base_path:path/to/stable-diffusion-webui/，將路徑替換為你的 WebUI 的路徑，例如 base_path:D/StableDiffusion/stable-diffusion-webui/
3. 最后重啟 ComfyUI，你就可以在 Load Checkpoint 中的 Ckpt_name 中找到

五、安裝鏈接

如果你使用的是 Windows 平臺且為 N 卡用戶，只需要在項目主頁的 Release 頁面下載作者提供的“官方整合包”

https://github.com/comfyanonymous/ComfyUI/releases

如果你是 Mac 用戶可以參考以下文章

https://zhuanlan.zhihu.com/p/666047912

結語

設計是一門不斷發展的藝術和科學。保持對新技術、新方法的好奇心，是我們不停向上走的助力。但盡管 AI 可以提供很多幫助，設計的核心仍然是人類的情感和體驗。確保設計作品能夠與用戶產生情感共鳴，始終保持人性化的觸感。希望我們能夠繼續發揮創造力和想象力，利用 AI 和其他新技術，創造出更多美麗、有用且有意義的設計作品。

歡迎關注「58UXD」的微信公眾號：