大家好，這里是和你們一起探索 AI 繪畫的花生~

前段時間 Stabilty AI 官方發(fā)布了一個開源模型 SDXL Turbo，它和我們之前講過的 LCM 一樣，只需 1-4 步就能完成圖像生成，同時圖像質(zhì)量依舊保持的不錯。如果將 SDXL Turbo 部署到本地， 我們就可以免費在自己電腦上實現(xiàn) AI 圖像實時生成

今天就為大家推薦幾種在本地部署使用 SDXL Turbo 模型的方法，包括 Stable Diffusion WebUI、ComfyUI 和 Fooocus，經(jīng)測試可以將圖像的生成速度提升 6-10 倍；還可以借助屏幕捕捉插件實現(xiàn)類似于 Krea AI 的實時繪畫效果。

SDXL Turbo 官方線上體驗途徑： https://clipdrop.co/stable-diffusion-turbo

相關(guān)推薦：

一、在 SD WebUI 中部署

Civitai 上有位大神將 LCM 和 SDXL Turbo 融合成了一個新模型，安裝到 SD WebUI 中后就能實現(xiàn)圖像實時生成。（附件有資源包）

首先我們需要將 SD WebUI 更新到最新版本，然后下載上方的 RealitiesEdgeXLLCM_TURBOXL 大模型，安裝到 WebUI 根目錄的 models/stable diffusion 文件夾中。文末資源包中還有一個 sdxl vae 文件，安裝到根目錄的 models/VAE 文件夾中。

進入 WebUI 后，進行如下設(shè)置：

1. 大模型：RealitiesEdgeXLLCM_TURBOXL，VAE：sdxl vae
2. Clip Skip 數(shù)值調(diào)整為 1；采樣步數(shù) 4-10 之間；CFG Scale 參數(shù) 1-2；尺寸 1024px 左右；采樣器使用 Euler A 或者 LCM 都可以。

經(jīng)測試在 8G 的 4060 上生成一張 1024*1024px 的圖像僅需 8 秒，比使用 SDXL 1.0 base 模型的快了 8 倍，并且圖像質(zhì)量依舊保持得很好。

這個大模型還可以配合 SDXL Controlnet 使用。下圖是我用 sai_xl_canny 控制模型生成的 1024*1024 px 的圖像，生成時間 13 秒，比用 SDXL 1.0 Base 模型的生成速度要快上六七倍。

如果你還沒有安裝 SDXL Controlnet 模型，可以看我之前寫的 《SDXL controlnet 安裝使用教程》 。想學(xué)習(xí)如何使用 Stable Diffusion WebUI 的話，歡迎了解我最新制作的 《零基礎(chǔ)AI繪畫入門完 全 指南》 ，我會系統(tǒng)講解 Stable Diffusion WebUI 的基礎(chǔ)用法和使用技巧，幫你掌握圖生圖、文生圖功能以及當下最熱門的控制插件 Controlnet。

二、在 Fooocus 中部署

Fooocus 之前已經(jīng)為大家介紹過了，它是一款非常輕便簡單的免費 AI 繪畫工具，融合了 Midjourney 和 WebUI 的優(yōu)點，專注于 SDXL 模型，所以 SDXL Turbo 也可以在 Fooocus 中使用。

使用方法：

①下載安裝 Stabilty AI 官方發(fā)布 sd_xl_turbo_1.0_fp16 模型，安裝到根目錄的 Fooocus\models\checkpoints 文件夾中。（文末有資源包）

②進入 Fooocus 操作界面，勾選 Advanced 選項，在右側(cè)選項欄進行如下設(shè)置：

在 Model 版塊內(nèi)，選擇大模型 sd_xl_turbo_1.0_fp16；refiner 選擇無；

在 Advanced 區(qū)域內(nèi)，將 Guidance Scale 參數(shù)設(shè)置為 1-4 之間，勾選 Developer Debug Mode，在彈出的選項款內(nèi)，將 Sampler 修改為 euler_ancestral；將 Forced Overwrite of Sampling Step 參數(shù)改為 1；將 Forced Overwrite of Generating Width 和 Height 參數(shù)都修改為 512。

設(shè)置完成后就可以點擊生成了，經(jīng)測試生成一張圖像僅需 2 秒，不過質(zhì)量也稍微下降了一點。其實就 Fooocus 的一貫風(fēng)格來說，上面的設(shè)置步驟其實算復(fù)雜的了。這是因為 SDXL Turbo 剛出來不久，而 Fooocus 的作者目前也正在忙，沒有進行相應(yīng)的兼容設(shè)置。我們可以也等待一下 Fooocus 的后期更新，用起來應(yīng)該會更方便。

零基礎(chǔ) ComfyUI 入門教程：

三、在 ComyfyUI 中部署

在 ComfyUI 中部署 SDXL Turbo 后，生成一張圖像只需 0.3 秒，生成的圖像會隨輸入的提示詞實時變化，做到真的“實時生成”。具體操作方式如下：

①下載 Stabilty AI 官方發(fā)布 sd_xl_turbo_1.0_fp16 模型，安裝到 ComfyUI 的模型根目錄中（如果是與 WebUI 共用模型，則放到 WebUI 根目錄的模型文件夾中），ComfyUI 需要更新到最新版本（文末有資源包）

②進入 ComfyUI 部署實時生成工作流。可以按下方圖像手動自動布置，或者直接去文末資源包中下載 flow 節(jié)點文件。工作流中的數(shù)值設(shè)置依舊需要注意：

設(shè)置參數(shù)也需要注意：采樣步數(shù)設(shè)置為 1 即可；CFG Scale 參數(shù)為 1-2 之間；采樣器選擇 LCM，圖像尺寸目前只能是 512*512，過高會出現(xiàn)畫面崩壞（算是目前的一個小缺陷，后期官方應(yīng)該會修復(fù)）；

在右側(cè)工具欄中啟用 Auto queue 自動生成選項；這樣工作流會自動啟動，只需輸入提示詞就能體驗到實時生成的效果。

現(xiàn)在還有一個 ComfyUI 屏幕捕捉插件 mixlab nodes，支持將電腦的其他界面接入 ComfyUI，與 SDXL Turbo 模型結(jié)合，實時引導(dǎo)新圖像生成，比如圖片、視頻、Photoshop、Blender 等，效果類似 Krea AI。具體操作如下：

插件地址： shadowcz007/ c omfy u i-mixlab-node s (github.com)

1）安裝好 mixlab nodes 插件和 sd_xl_turbo_1.0_fp16 大模型，ComfyUI 需要更新到最新版本；

2）需要安裝涂鴉線條類的 sdxl controlnet 模型 ，比如 t2i-adapter_xl_sketch 或者 sai_xl_sketch_256lora；

3）進入 ComfyUI 后，按下圖部署工作流（文末資源包有 flow 節(jié)點文件）；

4）工作流部署成功后，在電腦中打開你需要接入應(yīng)用（比如 Ps ），然后點擊 ScreenShare 節(jié)點中的「Share Screen」選項，從彈出的列表中選擇對應(yīng)的窗口進行屏幕共享。

5）再點擊 ScreenShare 節(jié)點中的「Set Area」選項，從目標窗口中框選制定區(qū)域，只讓畫布區(qū)域被插件捕捉。

6）然后點擊 「Live Run」選項，在目標區(qū)域區(qū)域內(nèi)繪制內(nèi)容，每次筆畫的改動都會對最終生成的內(nèi)容造成影響。

四、用 lcm-lora 在 ComfyUI 中實現(xiàn)實時生成

有了屏幕捕捉插件 mixlab nodes，我們還可以借助之前推薦的 lcm-lora 插件 ，在 ComfyUI 中實現(xiàn)另一種方式的圖像實時生成。相比 SDXL Turbo，lcm lora 的優(yōu)勢在于可以配合大部分的 SD1.5 和 SDXL 大模型使用，生成的圖像風(fēng)格更多樣，尺寸也可以自由設(shè)置。

了解 lcm lora：

相關(guān)工作流如下圖，文末資源包中有 flow 節(jié)點文件可以直接使用。運行前需要先下載 lcm-lora-sdv1.5 和 lcm-lora-sdxl 這 2 個 lora 文件安裝到根目錄中，屏幕捕捉的操作方式和前面的一樣，使用時需要注意的點是：

1. 如果選擇的是 sd1.5 的大模型，那么 lora 模型需要選擇 lcm-lora-sdv1.5，controlnet 模型需要選擇也是 sd1.5 的；
2. 如果選擇的是 sdxl 的大模型，那么 lora 模型需要選擇 lcm-lora-sdxl，controlnet 模型需要選擇也是 sdxl 的，另外圖像的尺寸也不要低于 768*768px。

設(shè)置成功后，在目標區(qū)域內(nèi)繪制草稿，即可實現(xiàn)實時繪圖。我測試后發(fā)現(xiàn)效果的確不錯，相當于我們自己在電腦上部署了一個 Krea AI，對做概念設(shè)計來說非常方便。

以上就是在 Stable Diffusion WebUI、ComfyUI 和 Fooocus 中部署 SDXL turbo 模型并實現(xiàn)圖像實時生成的相關(guān)教程，大家趕快動手嘗試一下吧。喜歡本期內(nèi)容的話記得點贊收藏支持一波，之后會繼續(xù)為大家?guī)砀?AI 繪畫干貨知識~ 也歡迎大家掃描下方的二維碼加入“優(yōu)設(shè) AI 繪畫交流群”，和我及其他 設(shè)計師 一起交流學(xué)習(xí) AI 知識。

參考教程：

1. https://www.bilibili.com/video/BV15H4y117m4
2. https://www.bilibili.com/video/BV1JN41177ET
3. https://www.bilibili.com/video/BV1cc411672x

推薦閱讀：