大家好，我是花生~

備受期待的 Stable Diffusion 3（以下簡稱 “SD3”）終于向公眾開放了，作為 Stability AI 迄今為止最先進的文本到圖像開源模型，SD3 在圖像質量、文本內容生成、復雜提示理解和資源效率方面有了顯著提升，今天就為大家詳細介紹一下 SD3 的特點以及如何在 ComfyUI 中使用它。

相關推薦：

一、SD3 簡介

此次開放的模型準確來說是 Stable Diffusion 3 Medium，包含 20 億參數，具有體積小、適合在消費級 PC 和筆記本電腦上運行的優點，所以普通人也可以將其部署到自己的電腦上使用。SD3 Medium 的優點包括：

① 圖像質量整體提升，能生成照片般細節逼真、色彩鮮艷、光照自然的圖像；能靈活適應多種風格，無需微調，僅通過提示詞就能生成動漫、厚涂等風格化圖像；具有 16 通道的 VAE，可以更好地表現手部以及面部細節。

② 能夠理解復雜的自然語言提示，如空間推理、構圖元素、姿勢動作、風格描述等。對于「第一瓶是藍色的，標簽是“1.5”，第二瓶是紅色的，標簽是“SDXL”，第三瓶是綠色的，標簽是“SD3”」這樣復雜的內容，SD3 依舊能準確生成，而且文本效果比 Midjourney 還要準確。

③ 通過 Diffusion Transformer 架構，SD3 Medium 在英文文本拼寫、字距等方面更加正確合理。Stability AI 在發布 SD3 官方公告時，頭圖就是直接用 SD3 生成的，效果非常驚艷。

另外此次 SD3 Medium 模型的授權范圍是開放的非商業許可證，也就是說沒有官方許可的情況下，模型不得用于商業用途，這點是需要大家注意的。

二、在 ComfyUI 中使用

SD 3 Medium 模權重已經在 huggingface 上放出了， 我們可以在 ComfyUI 部署工作流來使用它，具體操作如下：

① 將 ComfyUI 更新到最新版本，以支持 SD3 的順利運作。

② 下載模型權重： https://huggingface.co/stabilityai/stable-diffusion-3-medium （下載時需要先填寫一份表格，保證自己不會將模型用于商用用途；可以直接在文末的百度云盤內下載）。官方提供了 4 種大模型文件：

1. sd3_medium：4.3G，獨立主模型，不包含文本編碼器（clip 模型）；
2. sd3_medium_incl_clips.safetensors：5.97G，包含 clip_g 和 clip_l 編碼器；
3. sd3_medium_incl_clips_t5xxlfp8.safetensors：10.9G，包含 clip_g、clip_l 和 t5xxl_fp8 編碼器；
4. sd3_medium_incl_clips_t5xxlfp16.safetensors：15.8G，包含 clip_g、clip_l 和 t5xxl_fp16 編碼器。

③ 另外還有 4 個 Clip 文件和 3 種工作流。大模型的安裝位置為根目錄的 comfyui/models/checkpoints 文件夾，Clip 模型的安裝位置為 comfyui/models/clip 文件夾。實際應用中不需要每一個模型都下載，后面會為大家介紹目前使用較多的 2 種工作流，可以看完之后再確定下載哪些文件。

SD3 工作流 ①

這個使用的是官方提供的 basic 基礎 工作流，可以在 comfyui_example_workflow 文件加中下載使用 。這個工作流需要用的模型文件有 4 種：sd3_medium、clip_g、clip_l 和 t5xxl_fp8。這是最完整穩健的一種工作流。

SD3 工作流 ②

這個工作流可以在云盤內下載，它只使用了一個模型文件 sd3_medium_incl_clips_t5xxlfp8.safetensors。這個模型已經融合了 3 種 clip 模型，所以不再需要 clip loader 這個節點，用起來更簡單。

使用 SD3 時，還有 2 個小技巧可以幫我們提升出圖質量：

① 是在生成寫實照片以及人物面部的，可以將 cfg 參數參數調低至 2-3 之間，細節和質量會更好；包含文本時，還是使用 cfg 4.5 或者 5 時效果會更好。大家也可以多探索一些其他 cfg 參數能產生的效果。

② SD3 模型更適合自然語言提示詞，而不是標簽式的提示詞，你可以詳細描述你需要的畫面內容、構圖、色彩、氛圍，即使提示詞很長，SD3模型也能處理的很好。

三、SD3 存在的不足

雖然 SD3 在圖像質量、細節、對提示詞的理解、文本內容生成能力上有了明顯提升，但是也存在一些不足，比如在生成手部的時候依舊會出現錯誤，以及在生成 “lying（躺）” 這個姿勢時，人物會出現嚴重的崩壞。有人推測是因為 SD3 對內容安全有嚴格審查，導致相關內容受到影響。

不過總體上來說 SD3 在圖像生成質量以及整體性能上都比之前的 SD1.5、SDXL 提升很多。雖然有 Midjourney V6 以及 sdxl 微調模型珠玉在前，讓 SD3 顯得沒有那么驚艷，但是作為一個免費的模型能達到這樣的效果已經非常驚人了。

之前 SD1.5、SDXL 模型的直出圖像質量一直也不太行，但是在開源社區的努力下，各種衍生模型的質量一直都非常不錯，甚至超過了一些閉源模型。所以我們可以期待一下 SD3 未來的生態發展，等各種微調模型以及 Controlnet、IP-Adapter 這些的配套模型都跟上之后，SD3 肯定還能給我們帶來新的驚喜。

以上就是本期為大家介紹的最新開源文生圖模型 SD3 的相關內容。模型資源以及工作流文件都在文末的百度網盤內容，有需要小伙伴記得下載。

ComfyUI 的學習門檻比較高，如果你想掌握它，建議先從 Stable Diffusion WebUI 開始，它更適合初學入門，學會后也能有助于我們快速掌握 ComfyUI 的用法。 我最新制作的 《零基礎 AI 繪畫入門指南》是一門面向 AI 繪畫零基礎人群的系統課程，包含 Stable Diffusion WebUI 全面細致的用法教學，并提供配套資源，能幫你快速掌握這款目前最熱門的 AI 繪畫工具。

如果有關于文章的問題，歡迎在評論區留言，或者下方的二維碼加入“優設 AI 繪畫交流群”，和我及其他 設計師 一起交流學習 AI 知識~

相關鏈接：
官方 SD3 介紹： https://stability.ai/news/stable-diffusion-3-medium
SD3 授權范圍詳情： https://stability.ai/license

推薦閱讀：