大家好，我是花生~

上周 Flux 模型研發(fā)方 Black Forest Labs 突然又發(fā)布了 4 款新的模型，而且都非常實用，支持對圖像進(jìn)行外繪擴(kuò)展、局部重繪和生成風(fēng)格變體，此外還有 depth 和 canny 的控制功能。

其實開源社區(qū)已經(jīng)自發(fā)訓(xùn)練了基于 Flux.1 的 Controlnet 模型，所以這次看到官方親自下場做模型還是挺驚訝的，我都在想是不是官方覺得目前的模型不夠好，所以決定自己動手來做。不過多一些新模型對我們普通用戶來說肯定不是壞事，尤其是新增的 Fill 模型，可以對圖像實現(xiàn)完美局部重繪和外繪拓展，對設(shè)計工作來說非常幫助。那今天我們就一起來看看這些新模型的特點和用法。

相關(guān)推薦：

一、模型簡介

此次 Flux 的一共發(fā)布了 4 大類模型，分別是分別是 Fill 重繪/拓展、Depth 深度控制、Canny 線條控制和 Redux 風(fēng)格變體。

FLUX.1 Fill 主要包含 inpainting（局部重繪）和 outpainting （外繪拓展）兩大功能。官方稱這是目前最好的圖像修復(fù)模型，不僅處理速度快，新生成的內(nèi)容也可以和原圖無縫銜接。

FLUX.1 Depth 和我們熟知的 Controlnet depth 作用是一樣的。先提供一張圖像，它會提取其中的深度結(jié)構(gòu)，然后結(jié)合提示詞生成一張相似的新圖像。官方提供給了大模型和 Lora 兩種方式來實現(xiàn)此效果，大模型可以單獨(dú)使用，LoRA 需要與 FLUX.1 大模型搭配使用。Flux.1 Canny 同理。

FLUX.1 Redux 可理解為一個圖像變體生成模型，作用類似于 IP-Adapter。給出一張圖像，它可以生成在內(nèi)容、構(gòu)圖、風(fēng)格、角色特征等方面類似的新圖像。官方表示它適合集成到一些更復(fù)雜的工作流中，幫助用戶通過圖像來引導(dǎo)新圖像的生成。

二、本地部署

模型鏈接： https://modelscope.cn/collections/FLUX--xilie-fa15f85b917d42 （文末有全部 6 款模型及相關(guān)工作流）

ComfyUI 工作流： https://comfyanonymous.github.io/ComfyUI_examples/flux/

以上 4 大工具的相關(guān)模型都已經(jīng)開源，ComfyUI 也在第一時間進(jìn)行了兼容支持，并發(fā)布了詳細(xì)的教程和示例工作流。不過這次的模型都很大，對顯存的要求會更高（保守 16G 以上），可能一些小伙伴的設(shè)備帶不動，所以我在下一章也推薦了一些線上試玩渠道。下面先看看不同模型的本地使用方法。

① FLUX.1 Fill

Fill 功能對應(yīng)的模型是 flux1-fill-dev.safetensors，模型大小 23.8 G。使用時先將 ComfyUI 更新到最新版本，然后將模型安裝到根目錄的 ComfyUI/models/unet 文件夾。

Inpainting 局部重繪的具體工作流如下。上傳圖像后，在圖像上單擊右鍵，選擇 Open in MaskEditor（在蒙版編輯器中打開），然后用畫筆涂抹需要重繪的部分，再填寫提示詞，最后生成即可。

Outpainting 外繪拓展的工作流和操作步驟則略有不同。上傳圖像后，先在 Pad Image for Outpainting 節(jié)點中設(shè)置需要外繪拓展的尺寸，freathering 參數(shù)可以對邊緣進(jìn)行羽化，讓圖像銜接更自然；再填寫提示詞描述整體畫面，最后點擊生成。

由于 flux 具有強(qiáng)大的文本渲染能力，所以對圖像局部重繪時，可以對原有文本進(jìn)行修改，這帶來了很多有創(chuàng)意的玩法。比如我們可以將電影海報的標(biāo)題改為任意自己喜歡的內(nèi)容，新的字體還能與原字體的樣式保持一致，效果很令人驚喜。

圖像來源:Fal 網(wǎng)站的 Flux Fill Tool Demo（第三章有鏈接）

局部重繪和外繪拓展 AI 繪畫來說是非常重要的功能，但是好用的一般都要收費(fèi)，免費(fèi)的則使用有門檻，而且很多效果也不好。但從前面的測試結(jié)果來看，F(xiàn)lux Flill 的圖像修復(fù)效果的確是目前頂尖的，而且對個人來說，只要部署到本地就能免費(fèi)無限制的使用，還能處理 2K 級別的高清圖像，真的非常方便了。

② FLUX.1 Depth & Canny

對于 Depth 和 Canny 控制功能， 官方給出了兩類模型：大模型和 lora 模型。

大模型有 23.8G，可以單獨(dú)使用；Lora 模型只有 1G 多，使用方法和一般的 flux lora 一樣，在基礎(chǔ)文本圖工作流上接入一個 load lora 節(jié)點就可以了。但是從網(wǎng)友的實測效果來看，lora 的效果比大模型差很多，生成時不僅容易出現(xiàn)細(xì)節(jié)丟失，而且圖像質(zhì)量也很低，所以不推薦使用。

下面只簡單講一下大模型的使用方法。由于這兩個大模型實在太大了，運(yùn)行起來很費(fèi)勁，而且控制效果也沒有特別好，甚至比不上開源社區(qū)目前已有的 Flux Controlnet 模型。所以這一部分建議大家了解一下就行，沒必要非得用官方推出的這 4 個模型。

使用方法：先將 ComfyUI 更新到最新版本，然后將 flux1-depth-dev.safetensors 和 flux1-canny-dev.safetensors 大模型放到根目錄的 ComfyUI/models/unet 文件夾。Depth 和 Canny 的工作流主體是一樣的，只是在圖像預(yù)處理部分有所不同。

③ FLUX.1 Redux

Redux 應(yīng)該是此次推出的模型中可玩性最高的，因為它可以很好地保留原圖的特征，包括風(fēng)格、構(gòu)圖、細(xì)節(jié)、人物特征、服裝特征等細(xì)節(jié)，所以能應(yīng)用的范圍非常廣。比如用于保持人物一致性：

或者將多張圖像的不同部分進(jìn)行融合：

圖像來源：Twitter @Datou

Redux 可以 flux dev 或 schnell 模型配合使用， 具體方法如下：

1）將 ComfyUI 更新到最新版本。下載 sigclip_vision_patch14_384.safetensors 模型，安裝到ComfyUI/models/clip_vision 文件夾中，下載 Flux1-redux-dev.safetensors 模型，放入 ComfyUI/models/style_models 文件夾中。

2）對于單張圖像，先安裝 ComfyUI_AdvancedReduxControl 插件，它可以調(diào)節(jié)控制圖像/提示詞的應(yīng)用強(qiáng)度，從而得到更好的圖像融合效果。然后從插件文件夾中加載官方工作流 advanced_workflow 進(jìn)行使用。

插件鏈接： https://github.com/kaibioinfo/ComfyUI_AdvancedRefluxControl

3）上傳圖像后，用文本描述想要的圖像內(nèi)容/風(fēng)格，然后在 ReduxAvance 節(jié)點中調(diào)節(jié)圖像與文本的融合強(qiáng)度。主要參數(shù)是 downsampling_factor ，決定原圖像對生成圖像的影響強(qiáng)度，數(shù)值范圍1-5。

4）如果想融合 2 張圖像的特征，可以先安裝 Comfyui_Flux_Style_Ctr 插件，然后下載 Datou 老師的 Pokemon Workflow 3.0 工作流進(jìn)行使用。

插件地址： https://github.com/StartHua/Comfyui_Flux_Style_Ctr

工作流： https://openart.ai/workflows/datou/pokemon-workflow-30-flux-redux/0q8ftFHisaIIEOovzNRC

三、在線試玩

如果你無法本地部署 Flux 的這些新模型，也可以通過以下方式在線體驗。

① Glif - Flux(dev) Redux Merger

網(wǎng)址直達(dá)： https://glif.app/@HighDruidMotas/glifs/cm3rts26x0012105qfck7jdfh

這個 Glif 小應(yīng)用是基于 Flux Redux 創(chuàng)建的，只需上傳兩種圖像，然后描述你想要的融合效果，就能輕松將兩個圖像的特征完美融合到一起。

② Fal

網(wǎng)址直達(dá)： https://fal.ai/flux-tools

Fal 對新出的 Flux 4 大功能進(jìn)行全面支持，新用戶都有免費(fèi)試用額度。

③ Replicate

網(wǎng)站直達(dá)： https://replicate.com/black-forest-labs

Replicate 上也有對 Flux 4 大模型進(jìn)行全面支持，新用戶都有免費(fèi)試用額度。

那么以上就是本期對 Flux 四大新模型的相關(guān)介紹，喜歡本期內(nèi)容一定記得點贊評論支持一波。也歡迎大家關(guān)注「優(yōu)設(shè) AI 自學(xué)網(wǎng)」 和「優(yōu)設(shè)微信視頻號」，每天都會分享最新的 AIGC 資訊和神器，讓你輕松掌握 AI 發(fā)展動態(tài)。也歡迎大家掃描下方的二維碼加入“優(yōu)設(shè) AI 知識交流群”，和我及其他設(shè)計師一起交流學(xué)習(xí) AI 知識~

推薦閱讀：