大家好，我是花生~

就在昨天，知名開源大模型平臺 Stability AI（以下簡稱 SAI）突然發(fā)布了新的 Stable Diffusion 3.5 模型。本以為在經(jīng)歷 SD 3 發(fā)布失利、核心成員出走、Flux 模型發(fā)布等一系列沖擊后，SAI 會元?dú)獯髠瑳]想到原來是在默默憋大招。

這次發(fā)布的 SD 3.5 模型不僅在很多方面都有了優(yōu)化提升，而且全部免費(fèi)可商用，算是給開源社區(qū)的發(fā)展注入了一針新的強(qiáng)心劑，下面一起來看看它的特點(diǎn)和使用方法吧~

了解 6 月份發(fā)布的 SD 3 模型：

一、SD 3.5 模型簡介

此次的 SD 3.5 模型總共包括 3 個型號，分別是 ：

① SD 3.5 Large：擁有 80 億個參數(shù)，在圖像質(zhì)量和提示詞準(zhǔn)確性方面表現(xiàn)優(yōu)異，是 SD 系列中最強(qiáng)大的模型，適合 1 兆像素分辨率的專業(yè)用例。

② SD 3.5 Large Turbo：Large 模型的精煉版本，只需 4 個步驟即可生成高質(zhì)量圖像，因此出圖質(zhì)量會比 Large 快，同時提示詞準(zhǔn)確性依舊能保持在不錯的水平。

③ SD 3.5 Medium（29 號正式發(fā)布）：該模型擁有 25 億個參數(shù)，適用于消費(fèi)類硬件，平衡了圖像質(zhì)量和模型易用性，是更適合一般用戶的性價比之選。

從官方發(fā)布的示例圖，以及網(wǎng)上用戶發(fā)布的測試圖來看，SD 3.5 的圖像生成質(zhì)量的確不錯。SD 3 時就具備的特性，比如高清細(xì)節(jié)、準(zhǔn)確的提示詞理解、 優(yōu)秀的文本生成排版能力等，在 SD 3.5 中依舊保有并表現(xiàn)更好了，另外 SD 3.5 還支持更包容的內(nèi)容輸出和更多樣的風(fēng)格。

比如之前的 SD 模型默認(rèn)以白色人種為主，現(xiàn)在則可以輕松能生成不同膚色的人；而且只需修改關(guān)鍵詞，SD 3.5 就能生成各種藝術(shù)風(fēng)格的圖像，包括 3D、攝影、卡通、線條藝術(shù)、賽博朋克等，美學(xué)質(zhì)感表現(xiàn)非常亮眼, 甚至不輸 Midjourney 和 Flux.1。

另外 SD 3.5 修復(fù)了 SD 3 模型的一個重大 bug —— 無法生成 “躺在草地上的女孩” 。這點(diǎn)大家應(yīng)該有印象，SD 3 在發(fā)布后，很快被人發(fā)現(xiàn)在生成 “A girl lying on the grass” 時，人物的軀體四肢會出現(xiàn)明顯的扭曲畸形，相關(guān)圖像也成了一時廣為流傳的 AI 梗圖，讓 SD3 的處境非常尷尬。

也許是為了一雪前恥，在此次介紹更新的官方博客中，第一張放的就是一個女性仰面躺在草地上的圖像，我第一眼看到的時候差點(diǎn)笑出聲，看來官方也是知道大家對 SD3 的吐槽的。 不過在博客中，官方也提到之所以沒有立刻對 SD3 采取修復(fù)措施，是決定花時間進(jìn)一步開發(fā)一個新版本，于是 SD 3.5 就誕生了，SD 系列也算是能接上原有的發(fā)展路徑了。

最最重要的是，此次發(fā)布的三個模型都有非常寬松的使用許可 —— 年收入總額低于 100 萬美元（或等值當(dāng)?shù)刎泿牛┑慕M織或個人免費(fèi)用于研究、非商業(yè)和商業(yè)用途。也就是對于個人和中小公司而言，SD 3.5 的三個模型可以自由免費(fèi)商用，果然免費(fèi)開源還是得看 Stability AI。

開源社區(qū)里目前對 SD 3.5 和 Flux Dev 的生成能力做了多次對比，在質(zhì)感細(xì)節(jié)、風(fēng)格多樣性上 SD 3.5 占有優(yōu)勢，但生成手指、腳趾、姿勢動作時遠(yuǎn)不及 Flux 準(zhǔn)確自然。但總體來說還是 SD 3.5 比 SDXL 和 SD 3 好很多，加上模型是開源可商用這點(diǎn)，相信之后會和 SDXL 一樣，激發(fā)出很多高質(zhì)量的微調(diào)模型。

二、ComfyUI 本地部署

官方目前已經(jīng)在 Huggingface 上開源了 SD 3.5 Large 和 Large Turbo 兩款模型，ComfyUI 第一時間就進(jìn)行了支持。另外 ComfyUI 官方自己還發(fā)布了一款 sd3.5_large_fp8_scaled 模型，適合低顯存（8G）用戶。下面分別介紹三款模型的基礎(chǔ)使用。

① SD 3.5 Large

模型下載： https://huggingface.co/stabilityai/stable-diffusion-3.5-large （文末有資源包與工作流）

安裝方法：

1. 將 ComfyUI 更新到最新版本；
2. 將 SD 3.5 Large 放到 comfyui 根目錄的 models/checkpoint 文件夾；
3. 下載 Clip_g.safetensors、Clip_l.safetensors 和 t5xxl_fp8.safetensors，放到 models/clip 文件夾；
4. 將 SD3.5L_example_workflow.json 工作流文件拖入 ComfyUI 界面；

工作流使用注意事項：

1. Large 模型適合顯存 16G 及以上的用戶。
2. SD 3.5 Large 和 Turbo 模型本身不包含文本編碼器/CLIP 權(quán)重，因此需要單獨(dú)加載。在正式生成前，注意檢查自己是否安裝比正確選擇了這些模型。
3. 圖像分辨率需要是 64 的倍數(shù)；CFG 參數(shù)推薦 4.5-5.5；采樣器 DPM++2M；生成步數(shù) 30-40。

② SD 3.5 Large Turbo

模型下載： https://huggingface.co/stabilityai/stable-diffusion-3.5-large-turbo/tree/main （文末有資源包工作流）

使用方法：

1. 更新 ComfyUI，將 SD 3.5 Large Tubro 放到 comfyui 根目錄的 models/checkpoint 文件夾；
2. 下載 Clip_g.safetensors、Clip_l.safetensors 和 t5xxl_fp8.safetensors，放到 models/clip 文件夾；
3. 將 SD3.5L_Turbo_example_workflow 工作流文件拖入 ComfyUI 界面；
4. 采樣器步數(shù)改為 4，cfg 改為 1.2 -1.6，其余用法和 Large 一樣

③ SD 3.5 Large Fp8

模型下載： https://huggingface.co/Comfy-Org/stable-diffusion-3.5-fp8/tree/main （文末有資源包與工作流）

Fp8 模型融合了 Clip 模型，因此和普通 SD 1.5 模型的用法是一樣的，8G 顯存可用：

1. 更新 ComfyUI，下載 sd3.5_large_fp8_scaled 模型放到根目錄的 models/checkpoint 文件夾；
2. 生成步數(shù) 20，采樣器 DPM++2M。

除了以上三個模型，SAI 還將于 10 月 29 日發(fā)布 SD 3.5 Medium 模型，并且后續(xù)還將推出對應(yīng)的 Controlnet。

自 Flux dev 模型發(fā)布后，開源社區(qū)的目光就從 SD 系列轉(zhuǎn)移到了 Flux 上，各類微調(diào)模型迅速涌現(xiàn)，已然有后來居上的趨勢。 而此次 SD 3.5 的發(fā)布則可以視為是 SAI 發(fā)出的反攻信號，要重新奪回自己的開源社區(qū)的領(lǐng)導(dǎo)地位。

畢竟 Flux dev 不可商用，而且對顯存要求也高，一定程度上限制了它的進(jìn)一步發(fā)展應(yīng)用。而 SD 3.5 在模型訓(xùn)練階段就為后期微調(diào)做了兼容，再加上模型質(zhì)量明顯提升、可免費(fèi)商用、消費(fèi)級硬件適用等優(yōu)勢，肯定能在開源社區(qū)中發(fā)展、衍生出更多優(yōu)質(zhì)模型，重現(xiàn) SDXL 發(fā)布時的繁榮景象。

那么以上就是本期為大家介紹的 SD 3.5 的相關(guān)內(nèi)容，如果對你有幫助的話記得點(diǎn)贊、收藏、評論支持一波，我會有更動力為大家推薦新的干貨內(nèi)容~

文內(nèi)的資源都可以在云盤內(nèi)下載。ComfyUI 的學(xué)習(xí)門檻比較高，如果你想掌握它，建議先從 Stable Diffusion WebUI 開始，它更適合初學(xué)入門，學(xué)會后也能有助于我們快速掌握 ComfyUI 的用法。 我最新制作的 《零基礎(chǔ) AI 繪畫入門指南》是一門面向 AI 繪畫零基礎(chǔ)人群的系統(tǒng)課程，包含 Stable Diffusion WebUI 全面細(xì)致的用法教學(xué)，并提供配套資源，能幫你快速掌握這款目前最熱門的 AI 繪畫工具。

想了解更多 AI 新鮮資訊的話，歡迎關(guān)注 優(yōu)設(shè) AI 自學(xué)網(wǎng) 和優(yōu)設(shè)微信視頻號，每天都會分享最新的 AIGC 資訊和神器，讓你輕松掌握 AI 發(fā)展動態(tài)。也歡迎大家掃描下方的二維碼加入“優(yōu)設(shè) AI 知識交流群”，和我及其他設(shè)計師一起交流學(xué)習(xí) AI 知識~

相關(guān)鏈接：

1. https://stability.ai/news/introducing-stable-diffusion-3-5
2. https://comfyanonymous.github.io/ComfyUI_examples/sd3/?ref=blog.comfy.org

推薦閱讀：