大家好我是花生~

繪畫模型 Flux.1 自推出后，以其超強的圖像生成能力迅速受到廣泛關注，一躍成為新一代的 AI 文生圖模型標桿。 雖然 Flux.1 dev / schnell 模型開源還不到 1 個月，但圍繞其進行的生態建設卻發展迅猛：目前已經出現了至少 4 種不同的模型版本和幾百款 checkpoint 、lora 模型，配套的 controlnet 模型也已經上線，各種基于 flux 的文生圖、圖生圖、高清放大、局部重繪、面部修復工作流也投入了使用，讓人驚嘆于開源社區強大的生命力。

生態能發展完善肯定是好事，但發展太快也容易讓人跟不上。我雖然每天都會特意了解 Flux 的資訊，但還是會被源源不斷的新內容弄得眼花繚亂、頭皮發麻，更不說屏幕前的無法實時關注的大家了。為了更好地讓大家跟上 Flux 的發展節奏，我花了一整天的時間，詳細梳理了目前 Flux 生態內的各種模型、插件資源，并整理了對應的使用方法，今天就把最終結果呈現給大家，看完之后你肯定會對 Flux 有一個全面深入的了解。

另外本篇文章的內容將更多集中在新推出的內容上，如果你之前完全沒有接觸過 Flux.1 模型，推薦先看看下面這篇文章，對其有一個基礎了解：

一、不同的 Flux.1 模型版本

除了 Black Forest Labs 官方推出的 2 個開源模型外，開源社區目前也開發出多個不同的版本，它們也都有各自的應用方向。主流的版本如下（掃描文末二維碼，進群領取思維導圖文件鏈接）：

1. 如果你有 16G 以及以上的顯存，那么官方模型肯定是最好的選擇，它們的性能和生圖質量是最好的；
2. 其次是 fp8 模型，比原版模型小很多，8G 顯存可運行，且關鍵的文本、細節生成質量沒有明顯下降；
3. 然后是 @lllyasviel 張呂敏大神發布的 NF4 量化版本。模型變得更小了，生成速度更快，如果在 WebUI forge 中使用共享模式運行，6G 顯存也能帶動。目前有 v1 和 v2 兩個版本，v2 在細節和速度上更優；
4. 最后是 @City96 開發的 3 個 GGUF 量化版本。其中 Q8 的出圖效果、速度都優于 fp8，需要 12GB 以上的顯存；而 Q4 版本 8G 顯存就能帶動，生成質量比 NF4 好一些。
5. 注意：這些量化版本的使用許可與原版模型是一致的，即 Dev 不可商用，Schnell 可以商用。

需要注意的是目前開源社區有兩個 fp8 模型，它們的名稱一樣，但大小和加載方法是不一樣的：一個由 @ kijai 開發，11.9 GB，在comfyui 中加載時需要配備 clip、vae等模型，適合原版工作流；另一個是 ComfyUI 官方開發的，17.2GB，融合了 clip、vae 等模型，可直接作為普通大模型使用，工作流更簡單。為了方便區分，大家最好下載后重新命名，比如 flux1-dev-fp8-kijai 和 flux1-dev-fp8。

目前以上所有模型都可以在 ComfyUI 中運行，NF4 和 GGUF 也支持在新版的 WebUI Forge 中使用。下面介紹一下如何在 ComfyUI 和 WebUI Forge 中安裝使用最新的 NF4 和 GGUF Q4 模型。

二、在 ComfyUI 中使用新版模型

首先需要將 ComfyUI 更新到最新版本，然后安裝兩個拓展插件：

① ComfyUI_bitsandbytes_NF4：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 （用于加載 NF4 模型，通過git clone 安裝）

② ComfyUI-GGUF：https://github.com/city96/ComfyUI-GGUF （用于加載 GGUF 模型）

相關模型、工作流文件網盤內都有提供。下載 flux1-dev-bnb-nf4.safetensors 模型后，放到根目錄的大模型文件夾，然后加載 comfyui_flux_nf4 工作流。它的用法和普通大模型是一樣的，但是不需要負面提示詞，其余參數保持默認即可。我生成一張 1024*1024 的圖像需要 2-3 分鐘，比之前的 fp8 模型快 2 倍。

如果是 GGUF 模型，可先下載適合自己的版本（比如 flux1-dev-Q4_0.gguf ），安裝到根目錄的 models/unet 中，然后加載 flux_gguf 工作流。由于用到的模型很多，在生成前最好先檢查一下每個模塊的選擇是否正確。

三、在 WebUI Forge 中使用新版模型

WebUI Forge 官網：https://github.com/lllyasviel/stable-diffusion-webui-forge （網盤有 windows 資源包，但之后可能還會更新，推薦直接到官網下載）

首先需要安裝 WebUI Forge，官方有提供一鍵安裝包，解壓后點擊 update.bat 進行更新（不可跳過），然后點擊 run.bat 啟動程序（啟動階段關閉代理），就能正常使用了。現在的 Forge 有 sd/xl/flux/all 4 種 UI 界面可選，適用于不同的模型。

對于 NF4 模型，先將模型安裝到 Forge 根目錄的 models\Stable-diffusion 文件夾中，然后啟動程序，選擇 flux 界面。相關的生成參數如下：

1. 大模型：flux1-dev-bnb-nf4-v2.safetensors
2. 提示詞：Astronaut in a jungle, cold color palette, muted colors, very detailed, sharp focus
3. Steps: 20 / Sampler: Euler / Schedule type: Simple / CFG scale: 1 / Distilled CFG Scale: 3.5

對于 GGUF 模型，先將主模型安裝到 models\Stable-diffusion 文件夾中， ae.safetensors 放入 models\VAE 文件夾（注意 vae 尾綴必須為 safetensors ），clip-l 和 t5xxl 放入models\text_encoder文件夾。然后啟動程序，選擇 flux 界面。相關的生成參數如下：

1. 大模型：flux1-dev-Q4_0.gguf
2. vae/text_encoder: ae.safetensors / clip-l / t5-xxl
3. 提示詞：A white street sign that says "I'm pink".
4. Steps: 20 / Sampler: Euler / Schedule type: Simple / CFG scale: 1 / Distilled CFG Scale: 3.5

經測試生成一張 1024*1024 的圖像需要 3 分鐘左右，速度還是比較快的。

四、Flux Lora 模型資源

目前 Flux 官方及 FP8 版本模型都支持接入 Lora 一起使用，而可用的 Flux Lora 模型也非常豐富，大家可以直接去 Civitai 、LiblibAI 或者 Huggingface 上自行下載安裝。下面是一個在線體驗 Flux Lora 模型的網站：

網址：https://huggingface.co/spaces/multimodalart/flux-lora-the-explorer

在 ComfyUI 中使用 Flux lora 時，也有 2 款不同的工作流可以使用：一款是基于原生工作流，主模型存放在 Unet 文件夾；另一款是簡化工作流，適用于 comfyUI 推出的 fp8 模型，主模型放在 checkpoints 文件夾。

兩款工作流文件都可在網盤內下載，分別是 flux-lora-original.json 和 flux-lora-simple.json。載入后記得檢查模型的選擇是否正確，尺寸、提示詞、lora 權重等參數可自定義修改。需要注意的是，一定要在提示詞中填寫 lora 的觸發詞（Trigger Words 一般在模型發布頁面都有提供），否則模型會不起效果，下圖中塔羅lora 的觸發詞就是 “in the style of TOK a trtcrd, tarot style”。

我們也可以在 webui forge 中使用 lora 模型。模型放在 models\Loras 文件夾中，依舊需要與官方 fp16 模型或者 fp8 模型配合，使用方式和 sd1.5 是一樣的：在 lora 版塊中點擊模型將其添加到提示詞中，然后加上 lora 觸發詞，再點擊生成就可以了。Forge 官方表示之后會支持針對 NF4 的 lora。

五、Flux Controlnet 模型資源

目前開源社區有 2 個團隊訓練出了適用于 Flux 的 Controlnet 模型。這些模型適用于 Flux 官方和 fp8 模型，且運行時對顯存占用更高，需要 12G 及以上的 VRAM 才能順利生成。

首先是 XLabs 團隊，推出了 canny、depth 和 hed 三款模型，并更新到了 v3 版本。在 ComfyUI 中使用時，需要先安裝 x-flux-comfyui 插件，然后在 custom_nodes\x-flux-comfyui 文件夾中，通過終端運行 pip3 install -r requirements.txt 命令，安裝依賴項。

然后將模型放入根目錄的 models\xlabs\controlnets 文件夾中，并從 custom_nodes\x-flux-comfyui\workflows 中加載對應的工作流即可使用。另外 XLabs 也發布了多個 flux lora 模型，可以在上面的 huggingface 鏈接內查看；workflows 文件夾中有對應的 lora 工作流。

1. x-flux-comfyui 插件：https://github.com/XLabs-AI/x-flux-comfyui
2. XLabs 模型下載：https://huggingface.co/XLabs-AI （文末有資源包）

之前為大家介紹過多合一的 Controlnet 模型 controlnet-union-sdxl-1.0 ，現在 Flux 生態也有了同類型的 FLUX.1-dev-Controlnet-Union-alpha 。它由 Xlabs 團隊訓練，融合了 canny / depth / Pose / Tile 等多種控制條件。目前模型開源可用，但有一些小 bugs 官方正在修復，之后還會發布一個新的版本。

在 ComfyUI 中加載此模型時，需要先安裝 ComfyUI-eesahesNodes 插件，然后在 custom_nodes\ComfyUI-eesahesNodes 文件夾內運行 python -m pip install -r requirements.txt 命令安裝依賴項。Controlnet 模型文件下載后安裝到 models/controlnet 文件夾中，為方便識別最好重命名。

1. 模型鏈接：https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Union-alpha/tree/main
2. ComfyUI-eesahesNodes 插件：https://github.com/EeroHeikkinen/ComfyUI-eesahesNodes

那么以上就是本期為大家梳理的 Flux.1 最新動態，如果對你有幫助的話記得點贊、收藏、評論支持一波，我會有更動力為大家推薦新的干貨內容~

文內的資源都可以在云盤內下載。ComfyUI 的學習門檻比較高，如果你想掌握它，建議先從 Stable Diffusion WebUI 開始，它更適合初學入門，學會后也能有助于我們快速掌握 ComfyUI 的用法。 我最新制作的 《零基礎 AI 繪畫入門指南》是一門面向 AI 繪畫零基礎人群的系統課程，包含 Stable Diffusion WebUI 全面細致的用法教學，并提供配套資源，能幫你快速掌握這款目前最熱門的 AI 繪畫工具。

想了解更多 AI 新鮮資訊的話，歡迎關注 優設 AI 自學網 和優設微信視頻號，每天都會分享最新的 AIGC 資訊和神器，讓你輕松掌握 AI 發展動態。也歡迎大家掃描下方的二維碼加入“優設 AI 知識交流群”，和我及其他設計師一起交流學習 AI 知識~

推薦閱讀：