正文開始之前，這里先用一句話概括性的介紹一下 Stable Diffusion：它是一種基于深度學(xué)習(xí)的文本到圖像的生成模型。能夠根據(jù)文本描述創(chuàng)造出豐富多樣且具有高質(zhì)量和細(xì)節(jié)的圖像。它的生成模型是通過大規(guī)模圖像及其描述的數(shù)據(jù)集訓(xùn)練而成，所以生成的圖像在保持高創(chuàng)造性的同時，還具有較高的高分辨率。另外因其開源性質(zhì)和強大的功能在 AI 繪畫領(lǐng)域具有重要的地位。具體的原理這里就不展開講了，我們只需要知道它是一種能夠通過文本描述生成圖像的 AI 繪畫工具就夠了。

2023 年是 AI 相關(guān)技術(shù)井噴式爆發(fā)的一年，在 AI 繪畫領(lǐng)域同樣發(fā)展迅猛，市面上形形色色的操作界面，看的大家眼花繚亂。Stable Diffusion 作為 AIGC 領(lǐng)域的領(lǐng)頭羊，今天我們就來盤點一下以它為基礎(chǔ)衍生而來的應(yīng)用。盤點之前先將市面上的應(yīng)用進行一下分類，可以簡單的把它們分成兩個陣營：一邊是廣為人知、處于市場主導(dǎo)地位的“大咖”，另一邊則是那些較少人知，但同樣充滿創(chuàng)意的“小眾選手”。

首先來介紹一下 Stable Diffusion 背后的公司 Stability AI 推出的幾款應(yīng)用

1. Clipdrop

2023 年 3 月 Stability AI 為了擴大 Stable Diffusion 模型的安裝，收購了 Clipdrop 背后的母公司 Init ML。Clipdrop 是一個利用 AI 來自動幫助用戶完成照片編輯的應(yīng)用，截至到收購之前已經(jīng)積累了 1500 萬用戶。用戶可以通過 Clipdrop 自動提高低分辨率圖像的清晰度，裁剪照片中的個別元素、刪除背景等。stability AI 將其收購后，對 Clipdrop 進行了一系列升級，把 SD（Stable Diffusion 的簡稱）的一些功能整合到了平臺上。目前提供包括文字消除、背景移除和替換、圖像放大、重新照明、物體移除、草圖創(chuàng)建、圖像變體和擴展，以及使用新模型 SDXL 進行圖像生成等多項功能，而且這些都可以免費使用，無需注冊賬號。當(dāng)然對于那些需要更多服務(wù)的用戶，平臺也提供了付費訂閱方案。

2. Dream Studio

Dream Studio 是由 Stability AI 官方推出提供算力的積分付費平臺，每個新賬戶贈送 25 積分，積分價格是 1000 積分 10 刀，大約可以生成 5000 張默認(rèn)設(shè)置的圖片，相比于傳統(tǒng)的訂閱模式，這種支付方式更加靈活友好。對于不同的模型，積分消耗也有所不同。目前有兩種模型可供選擇，SDXL v1.0 模型生成步數(shù) 40 需要 0.91 積分，SD v1.6 模型生成步數(shù) 40 需要 1.07 積分。Dream Studio 整體的界面設(shè)計極為友好，還提供了畫布編輯功能，可以更加方便的使用局部填充和圖像擴展。

3. StableSwarm UI

最后一個由官方推出的 GUI 是與 SDXL（Stable Diffusion 的最新優(yōu)化版本：Stable Diffusion XL，目前更新到了 v1.0）同時發(fā)布的 StableSwarm UI。乍一看，它的界面似乎與 Dream Studio 高度相似，但實際上它們之間還是有所區(qū)別的。StableSwarm UI 的獨特之處在于，它實質(zhì)上是一個以 Comfy UI 作為后端服務(wù)的前端界面。根據(jù)官方在其周刊中的介紹，Swarm UI 結(jié)合了 Comfy UI 的強大功能、Web UI 的用戶友好性以及 Stable Studio 的高品質(zhì)體驗，它的目的是將這三者的優(yōu)勢融合在一起。當(dāng)然，這只是官方的宣傳語，水分還是挺大的，實際的使用體驗差強人意，還有很大的提升空間，希望未來能有更多的改進。

4. InvokeAI

目前 InvokeAI 已經(jīng)更新到了 3.1 版本，全面支持了 SDXL 新模型，并且推出了與 Comfy UI 類似的節(jié)點式工作流界面。結(jié)合其本身就具備的畫布功能，使重繪和圖像擴展變得更加方便。

5. SD.Next

SD.Next 是從 Web UI 衍生出來的產(chǎn)品，其優(yōu)勢在于它不僅支持 Stable Diffusion 1.5/2.1/XL 模型，還兼容了 LCM、Segmind、Kandinsky、Pixart-α、Würstchen、aMUSEd、DeepFloyd IF、UniDiffusion、SD-Distilled、BLiP Diffusio、etc等多種擴散模型。此外，它適用于各種運行環(huán)境，并且擁有非常簡潔友好的UI界面和各種主題。

6. voltaML-fast-stable-diffusion

voltaML-fast-stable-diffusion 是一個開源項目，安裝簡單，界面簡潔干凈，非常適合新手學(xué)習(xí)。并且有文檔化的 API 接口，在速度上也有不小的提升。

7. Stable Diffusion online

Stable Diffusion Online 是一個提供在線免費的網(wǎng)站。它不僅提供了一種簡單直觀的操作界面，還特別增加了 Web UI 的界面設(shè)計，方便那些更喜歡或更習(xí)慣 Web UI 的用戶。此外網(wǎng)站還提供了 ControlNet 提示詞生成器和豐富的提示詞庫等功能。網(wǎng)站完全免費使用，無需注冊賬戶，特別適合初學(xué)者和對此領(lǐng)域感興趣的新手嘗試。

8. Hugging Face

Hugging Face 對經(jīng)常使用 SD 的朋友應(yīng)該都很熟悉，大家應(yīng)該或多或少都在上面下載過各種模型，這里簡單介紹一下它，它起初是一家致力于聊天機器人的初創(chuàng)公司，因其在 GitHub 上開源的 Transformers 庫（預(yù)訓(xùn)練語言庫），意外地在機器學(xué)習(xí)社區(qū)獲得了廣泛的關(guān)注和贊譽。現(xiàn)在該平臺已經(jīng)成為機器學(xué)習(xí)領(lǐng)域的核心，擁有超過 100000 個預(yù)訓(xùn)練模型和 10000 個數(shù)據(jù)集，大大降低了機器學(xué)習(xí)模型的門檻。它的開放文化吸引了全球廣泛的用戶和業(yè)界專家參與其中。在國內(nèi) Hugging Face 的應(yīng)用也十分廣泛，特別是在 NLP（自然語言處理）工程師中，熟悉其 Transformer 庫已成為標(biāo)準(zhǔn)要求。該平臺為初學(xué)者提供了易于上手的數(shù)據(jù)集和模型，簡化了機器學(xué)習(xí)的入門過程。正是因為它開放的文化，目前平臺匯集了眾多大神部署的各類模型，這些模型可以免費使用，體驗非常方便。唯一的小缺陷在于平臺太過于熱門，有些時候需要較長的等待排隊時間。

9. Playground

最后一個體驗不錯的就是 Playground Ai，用戶可以免費使用 Stable Diffusion 模型，每天最多可以免費創(chuàng)建 1000 張圖像，并且允許商用。同時平臺也提供了付費訂閱選項，付費用戶可以使用更多模型比如 Dall-e2 等。生成圖像后，可以實時預(yù)覽和編輯，如調(diào)整亮度、對比度、飽和度、色彩等，甚至添加濾鏡、邊框、水印等效果。完成后可以通過獨立鏈接分享或直接下載保存。感興趣的朋友們可以去嘗試體驗一下。

AI 王者：Web UI

接下來是目前最受歡迎的 Stable Diffusion WebUI，它是一個基于 Web 網(wǎng)頁形式展現(xiàn)的圖形用戶界面，用于管理和控制 Stable Diffusion。提供了直觀、易于使用的界面。讓用戶不需要復(fù)雜的編程技能或深入的技術(shù)知識也能使用這個強大的圖像生成技術(shù)。用戶可以通過一個簡單的界面輸入文字描述，系統(tǒng)會根據(jù)這些描述生成相應(yīng)的圖像。WebUI 雖然非常方便用戶的使用，但對本地算力有一定的要求，需要有較好的顯卡才能滿足程序運行。因為 WebUI 是緊隨 SD（Stable Diffusion）發(fā)布的，以開源、易用插件眾多的特點迅速成為了主流選擇。對于使用 SD 的用戶來說，大部分都始于 WebUI，因此 WebUI 在很多人心中已經(jīng)成為了 Stable Diffusion 的代名詞。

潛力股：Comfy UI

目前 Comfy UI 正以獨特的特性和能力正迅速成為 AIGC 領(lǐng)域的焦點，它能夠讓用戶通過連接各種模塊（節(jié)點）來創(chuàng)建復(fù)雜而獨特的圖像生成流程。不僅可以作為圖形用戶界面使用，還能作為一個強大的后端服務(wù)，比如在電商領(lǐng)域非常火爆的 Krita＋Comfy UI 實時出圖，這里 Comfy UI 就是作為后端使用的，包括前文提到的 StableSwarmUI 也以 Comfy UI 為后端的項目。如果用過 OC 渲染器的同學(xué)對它節(jié)點式的界面不會感到陌生，即使是初學(xué)者也能通過拖放操作輕松連接不同的節(jié)點，完成文生圖和圖生圖的流程搭建，如果連接錯誤它會很直觀的告訴你哪里有錯誤。

開源也讓它擁有非常多不同種類的模塊，從簡單的入門到高級復(fù)雜的進階功能，能夠適應(yīng)各種不同的項目需求，靈活定制屬于自己的工作流。支持 SD1.5、SDXL、LCM 模型，涵蓋動畫生成、Inpainting、ControlNet 等高級功能。同時對硬件的要求也很低，即使沒有 GPU 也可通過 CPU 運行，方便更多的用戶使用。

與其他工具相比，Comfy UI 創(chuàng)新的差異化能力，為用戶提供了更多的擴展性和應(yīng)用可能性，讓用戶根據(jù)自己的需求創(chuàng)造個性化的生成流程。從最近的發(fā)展趨勢上看，Comfy UI 展現(xiàn)出了前所未有的潛力，隱隱的有種王霸之氣顯露出來。

抽卡的快樂：Fooocus

Fooocus 也是以 Comfy UI 作為其底層架構(gòu)的項目，它的主要目標(biāo)是將 Stable Diffusion 的交互體驗簡化為提示詞和圖像這一核心邏輯。所以它通過簡化界面，并對 SDXL 模型做了大量優(yōu)化和質(zhì)量改進的措施，提供了一個非常易于使用的平臺，特別適合那些不需要進行復(fù)雜調(diào)整的用戶，只需簡單的提示詞，就能生成高質(zhì)量的圖像，單純享受抽卡的樂趣。如果沒有條件使用 Midjourney 想白嫖的話，F(xiàn)ooocus 是很好的選擇。

Fooocus 同樣支持放大、變化、Inpaint/Outpaint、風(fēng)格化等多種圖像處理功能。對硬件的要求相對友好，最小 GPU 內(nèi)存需求為 4GB，適用于更多類型的設(shè)備，特別是配置較低的電腦。

在廣受歡迎的同時，有網(wǎng)友就希望開發(fā)者能把 ControlNet 等好用的工具加入其中。盡管 Fooocus 的開發(fā)者和 ControlNet 的創(chuàng)作者是同一人，但他決定不將 ControlNet 集成到 Fooocus 中。因為加入 ControlNet 等工具可能會使 Fooocus 漸漸演變成類似 webui 的復(fù)雜系統(tǒng)。

針對希望將 ControlNet 等工具集成到 Fooocus 中的需求，github 社區(qū)有開發(fā)者創(chuàng)建了 Fooocus-MRE。這個版本在保持原始 Fooocus 界面邏輯的同時，加入了 ControlNet 和圖生圖等常用工具。雖然底層不同，但界面邏輯上看，MRE 版 Fooocus 已經(jīng)非常接近 webui。

在探索 Stable Diffusion 及其 GUI 時，會發(fā)現(xiàn)不同界面之間既有聯(lián)系也有區(qū)別，它們共同構(gòu)成了一個互補的生態(tài)系統(tǒng)。無論用戶的需求是追求操作簡便性、更高級的定制功能，還是特定的用戶體驗，都能在這個多樣化的 GUI 中找到合適的選擇。例如，對于追求簡潔性的用戶，F(xiàn)ooocus 提供了一個直觀易用的選項；而 MRE 版本則適合那些尋求更多功能的用戶。對于喜歡圖文框式操作的用戶，WebUI 提供了豐富的插件和靈活的界面；而 Comfy UI 則滿足了專業(yè)用戶對定制化和自動化的需求。通過這種多元化的選擇，Stable Diffusion 的 GUI 展現(xiàn)了其在滿足不同用戶需求方面的強大能力和靈活性。

碎碎念：AIGC 的發(fā)展對設(shè)計行業(yè)的沖擊相信大家都有所體會，本著打不過就加入，我們需要時刻保持學(xué)習(xí)的態(tài)度，去研究和擁抱它。從最近各大廠商發(fā)布的文章和一些社交媒體發(fā)布的內(nèi)容來看，Comfy UI 可能是下一步重點的研究方向，我接下來也會寫一些教程類的文章，感興趣的朋友可以關(guān)注我后續(xù)的動態(tài)。

今天的文章就到這里感謝各位的閱讀，bye~

參考文獻：

1. https://zhuanlan.zhihu.com/p/637418467?utm_id=0
2. https://zhuanlan.zhihu.com/p/643420260
3. https://zhuanlan.zhihu.com/p/535100411
4. https://developer.aliyun.com/article/1244391

歡迎關(guān)注作者微信公眾號：「五幺六」