出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

推薦閱讀

AI 繪圖如火如荼發(fā)展了這么久,從 MJ 到 SD webUI,再到時(shí)下最熱門的 Comfy UI。因?yàn)轱@存的問題對(duì) Mac 用戶一直不是很友好,阻礙了大部分設(shè)計(jì)師上手學(xué)習(xí)的道路。但是 Comflowy 解決了這個(gè)痛點(diǎn)。這是一款 Mac 系統(tǒng)可用本地版的 sd,一鍵安裝,讓蘋果用戶不再只是看個(gè)熱鬧無法上手或去購(gòu)買價(jià)格高昂的線上生圖工具。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

ComflowySpace 的官網(wǎng)入口

  1. 官方網(wǎng)站主頁: https://www.comflowy.com
  2. GitHub 源碼庫(kù): https://github.com/6174/comflowyspace

一、Comflowy簡(jiǎn)介

Comflowy 是一款專為簡(jiǎn)化和增強(qiáng) AI 圖像及視頻生成工具使用體驗(yàn)而設(shè)計(jì)的開源軟件,基于 ComfyUIStable Diffusion,提供 Windows 和 Mac 客戶端,個(gè)人可免費(fèi)使用。相比 SD WebUI 和 ComfyUI 的上手難度,Comflowy 提供了更友好的體驗(yàn),即使是沒有技術(shù)背景的用戶也能夠輕松上手,讓更廣泛的設(shè)計(jì)師用戶利用 AI 技術(shù)進(jìn)行圖像和視頻的生成。需要注意的是 MAC 用戶需要配置 M1 以上的芯片,16G 內(nèi)存以上(Intel 芯片用戶和內(nèi)存不夠的設(shè)備建議使用線上版)。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

ComflowySpace 提供了豐富的功能和更便捷的使用體驗(yàn):

  1. 全面的 Workflow 功能:ComflowySpace 包含了 ComfyUI 的所有基礎(chǔ) Workflow 功能,交互形式保持一致,讓您能夠快速上手。
  2. 模型支持:支持加載 ComfyUI 內(nèi)的模型,無需重新下載,也不會(huì)占用額外的存儲(chǔ)空間。
  3. 插件生態(tài):兼容 ComfyUI 的各種第三方插件,擴(kuò)展了功能和可能性。

二、Comflowy的優(yōu)勢(shì)

相較于 ComfyUI,ComflowySpace 的優(yōu)勢(shì)在于:

① 一鍵安裝:省去了繁瑣的安裝流程。

② Workflow 管理:自動(dòng)保存每次更改,無需手動(dòng)導(dǎo)出。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

③ 模板功能:提供了豐富的模板,簡(jiǎn)化了 Workflow 的搭建過程,并提供了詳細(xì)的教程。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

④ 優(yōu)化的用戶體驗(yàn):對(duì) UI 和 UX 進(jìn)行了優(yōu)化,讓創(chuàng)意探索更加順暢和舒適。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

三、為什么遷移到ComfloUI

以上是工具的介紹。但是為什么要從 webUI 遷移到 comfy UI 呢?

我們先來簡(jiǎn)單看看 SD Web UI 和 ComfyUI 的 UI 界面,你應(yīng)該就能知道它們的區(qū)別了。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

從上圖中可以看到,SD WebUI 的 UI 更像是我們傳統(tǒng)使用的產(chǎn)品,有很多輸入框,還有多個(gè)按鈕。而 ComfyUI 的 UI 界面則非常復(fù)雜,除了輸入框,還有很多一塊塊的東西,并且還有很多復(fù)雜的連線。

從學(xué)習(xí)成本來看,ComfyUI 的學(xué)習(xí)成本會(huì)比 SD WebUI 高。但是這種連線其實(shí)并不復(fù)雜,你可以這么理解:

  1. 這些小的方塊跟 SD WebUI 的輸入框和按鈕是一樣的,都是對(duì)參數(shù)進(jìn)行配置。
  2. 連線可以理解為搭建自己的生產(chǎn)流水線,從左到右依次運(yùn)行。
  3. 從功能的角度看,其實(shí)兩個(gè)產(chǎn)品截圖所提供的功能是一樣的,只是 ComfyUI 變成了這種連線的方式。

這種方式有什么好處?我們一起來看看這兩個(gè)用 ComfyUI 搭建的工作流:

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

對(duì)比兩個(gè)工作流,你會(huì)發(fā)現(xiàn)它只是有一個(gè)節(jié)點(diǎn)不一樣,左側(cè)圖是直接加載圖片,右側(cè)圖是通過畫板繪制圖片。這樣就實(shí)現(xiàn)了兩個(gè)不同的功能(左側(cè)圖是導(dǎo)入圖片生圖,右側(cè)圖是繪圖生圖)。這就意味著,你可以通過改變節(jié)點(diǎn)的方式來改變工作流,從而實(shí)現(xiàn)不同的功能。這樣做有兩個(gè)好處:

  1. 你可以根據(jù)自己的需求搭建適合自己的工作流,而不需要依賴開發(fā)者。你也可以根據(jù)自己的需求,去開發(fā)并改造某個(gè)節(jié)點(diǎn)。
  2. 工作流可以直接導(dǎo)出為 Jason 文件,更快速便捷的分享給小伙伴,而不是繁瑣的截圖教程。

所以,選擇 ComfyUI 最核心的原因就在于它的自由和拓展,就像樂高一樣。你可以自己調(diào)整工作流中的每個(gè)節(jié)點(diǎn)進(jìn)行串聯(lián)和并聯(lián),甚至加入翻譯,反推,自動(dòng)化等等更高效的節(jié)點(diǎn)來創(chuàng)造獨(dú)屬于自己的工作流。并且其他小伙伴拿到分享的工作流可以直接一鍵使用。這所有的一切都形成了 ComfyUI 獨(dú)特開放的社區(qū)文化,讓這個(gè)平臺(tái)成為更多設(shè)計(jì)師的主要生產(chǎn)工具。

除了以上優(yōu)勢(shì)外,ComfyUI 對(duì)顯存要求較低,同時(shí)優(yōu)化了生成流程,提高了出圖速度。它能在同樣 8G 顯存的情況下支持 SDXL 還能使用兩個(gè) XL 的 Controlnet(還沒用過三個(gè)),SD web UI 是跑不了的,加載模型都不行。

綜上,ComfyUI 相比于 SD webUI,它可以使用多個(gè)流水線工作,用不同的處理方式處理多個(gè)不同的圖片,最終輸出不同的圖片,如果工作量很大,你只需要調(diào)整節(jié)點(diǎn)后然后出去玩一整天,而不用像 webUI 一樣坐在電腦前等這張跑完了,換個(gè)輸入?yún)?shù)和咒語再跑另一張。

同時(shí),它也支持多個(gè)模型和插件(包括 controlnet),輸入數(shù)據(jù)用多個(gè)插件同時(shí)控制一張圖片,滿足你對(duì)視角,動(dòng)作,場(chǎng)景細(xì)節(jié)的要求。甚至得益于它的高效率和高控制能力,讓圖片轉(zhuǎn)視頻,視頻轉(zhuǎn)視頻這種需要大量轉(zhuǎn)繪操作的輸出變得更簡(jiǎn)便高效,將 AI 繪圖自動(dòng)化向前推進(jìn)了一大步。

四、項(xiàng)目實(shí)踐

58 數(shù)科在最近推出了吉祥物小海獺「福寶」。在針對(duì)福寶的設(shè)計(jì)展示上,我們希望借助 ai 的能力,快速產(chǎn)出不同風(fēng)格的視覺圖以達(dá)到快速上線的目的。同時(shí)在已有的基礎(chǔ)設(shè)定上延展不同的場(chǎng)景。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

step1 選擇合適的工作流配置好基礎(chǔ)參數(shù)

首先進(jìn)入模版區(qū),選擇 Canny ControlNet workflow,進(jìn)入畫布后在標(biāo)注 Erros 的地方選擇對(duì)應(yīng)的模型和參數(shù)??梢栽谧髠?cè)畫布操作,也可以在右側(cè)控制面板操作。

step2 第一個(gè) Apply Controlnet 后串聯(lián)第二個(gè) Apply Controlnet

從第一個(gè) Apply Controlnet(positive)的 CONDITIONING 節(jié)點(diǎn)拉出連線,選擇 Apply Controlnet(positive)。然后從左側(cè)的 control_net 節(jié)點(diǎn)拉出線,為這個(gè)模塊添加對(duì)應(yīng)的 controlnet 模型。最后將這兩個(gè)模塊串聯(lián)到 KSamper 的 positive 節(jié)點(diǎn)上。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

step3 串聯(lián)一個(gè) lora

從 checkpoint 模塊的 model 節(jié)點(diǎn)拉線出來,選擇 Load LoRA,再將三個(gè)節(jié)點(diǎn)分別連接到前后兩個(gè)模塊

step4 輸入對(duì)應(yīng)的咒語,點(diǎn)擊運(yùn)行

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

step5 上傳其他草圖和對(duì)應(yīng)的咒語,點(diǎn)擊運(yùn)行批量生圖

最后批量生圖只需要上傳草圖,對(duì)應(yīng)修改關(guān)鍵詞,再點(diǎn)擊運(yùn)行。已經(jīng)加載過的模塊將不再需要再次加載。使用工作流生圖的運(yùn)行時(shí)間約比在 webUI 中節(jié)約 1/3 的時(shí)間,且后續(xù)復(fù)用這個(gè)工作流只需要在模版中直接調(diào)用就可以了,大大提升工作效率。

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

五、最后

Comfy UI 強(qiáng)的地方在于復(fù)現(xiàn)工作流和全自動(dòng)化生產(chǎn),一鍵直接出圖。Webui 里面要反復(fù)圖生圖調(diào)參數(shù)去試,而且第一次跟第二次生成效果,可能就是不一樣,而在 Comfy ui 里,工作流搭建成功,只需要點(diǎn)擊運(yùn)行,只要不調(diào)整參數(shù),你每一次都可以保證生成差不多的效果,達(dá)到統(tǒng)一風(fēng)格,這點(diǎn)就實(shí)現(xiàn)了 AI 本該有的自動(dòng)化流程。使用 AI 作為生產(chǎn)力工具,會(huì)越來越趨向于自動(dòng)化,未來一定是越來越可控,而 Comfy Ui 就是走向這個(gè)未來的必經(jīng)之路。Comflowy 這個(gè)工具則是這條路上廣大 Mac 用戶的福音,這就去試試吧。

歡迎關(guān)注「58UXD」的微信公眾號(hào):

出圖效率飛起!如何用 ComfyUI 搭建 Stable Diffusion 工作流?

收藏 122
點(diǎn)贊 54

復(fù)制本文鏈接 文章為作者獨(dú)立觀點(diǎn)不代表優(yōu)設(shè)網(wǎng)立場(chǎng),未經(jīng)允許不得轉(zhuǎn)載。