大家好,這里是和你們一起探索 AI 繪畫的花生~
之前已經給大家推薦過不少 Stable Diffusion WebUI 的大模型,今天為大家介紹一下 WebUI 中“外掛VAE”的相關內容,可以解決我們在用大模型出圖過程中出現的圖像顏色發灰、發白的問題,一起來看看吧 ~
上期回顧:
VAE 全稱 Variational Auto Encoder (變分自編碼器),是 stable diffusion 整個模型算法的組成部分之一,位于運作流程的末端,作用是讓 stable diffusion 生成的圖像顏色更鮮艷、細節更銳利;同時也能在一定程度上改善局部細節的生成質量,如手部、服裝、臉部等,我們可以簡單地把它理解為一種“濾鏡”。
VAE 模型不能單獨使用,要配合大模型一起使用。但不是所有大模型都需要使用 VAE, 因為一些穩定的大模型本身就自帶 VAE ,可以直接生成色彩正常的圖像,再使用 VAE 可能會起到反作用。而有一些大模型在融合訓練的時候 VAE 被損壞了,導致生成的圖像色彩不佳,就需要搭配外掛 VAE。我們可以通過以下 2 種方式判斷一款大模型是否需要配合 VAE 使用:
① 根據圖像生成效果判斷
判斷是否需要使用 VAE 最直接的方式就是看生成圖像的效果,如果顏色發灰、發白,與你看到的參考圖像效果有明顯差異,那么就需要啟用 VAE。
② 看大模型的發布提示
一些大模型在發布的時候,如果需要使用外掛 VAE,會在發布聲明里說明。如下圖的Aniflatmix 大模型,在模型介紹頁面就明確有提到需要配合 VAE模型使用。我們可以按提示在網上搜索相關資源 ,然后下載使用就可以了。
C 站可用 VAE 模型:https://civitai.com/models
VAE 模型和其他 AI 繪畫模型一樣,資源主要集中在 Civitai 和 Huggingface 兩個平臺上。我們可以在 Civitai 上通過篩選查看所有可用 VAE 資源,或者直接在互聯網上搜索你需要的 VAE 的名稱尋找資源。
這里也為大家推薦幾款常用的 VAE 模型,可以解決大部分的圖像色彩發灰問題。
① 通用 VAE
ema-560000: stabilityai/sd-vae-ft-ema-original at main (文末有資源包)
mse-840000: stabilityai/sd-vae-ft-mse-original at main (文末有資源包)
Stability AI 官方推出過 2 款 VAE ,vae-ft-ema-560000-ema-pruned 和 vae-ft-mse-840000-ema-pruned,它們適用于各種風格的大模型,能有效提升畫面色彩的鮮艷程度。從使用經驗來說,ema-560000 會明顯地修改畫面的細節,mse-840000 則沒有那么明顯。
② 風格化 VAE
ClearVAE:ClearVAE - v2.3 | Stable Diffusion VAE | Civitai (文末有資源包)
kl-f8-anime2:https://civitai.com/models/23906 (文末有資源包)
Anything:https://civitai.com/models/110630/anything-model-vae-v40 (文末有資源包)
有些 VAE 則只適合特定風格的大模型,大家在下載的時候可以仔細閱讀 VAE 制作者的使用說明。比如 ClearVAE、kl-f8-anime2、anything 等,都是適合動漫風大模型的 VAE。
不同的 VAE 下,圖像生成效果會略有差異,大家可以根據實際情況對比選擇:
VAE 模型下載后,需要放進根目錄的 models\VAE 文件夾內;如果要卸載某個VAE,也是在VAE 文件夾中刪除對應的文件就可以了。
在 WebUI 中,選擇好大模型后,在“外掛 VAE ” 的下拉欄中選擇對應的模型就可以了;不需要 VAE 的話,默認“自動”或者“無”。
如果你使用的是 @秋葉aaaki 大佬的整合包,也可以進入啟動器的“模型管理”界面,選擇“VAE模型”版塊,立馬有多個 VAE 模型可以直接下載,下載完成后文件會自動放入根目錄。
以上就是本期為大家分享的 Stable Diffusion WebUI 中「外掛 VAE」的相關內容,喜歡本期推薦的話記得點贊收藏支持一波,之后會繼續為大家推薦更多實用的 AI 繪畫干貨。有關于本文或者設計的問題可以在評論區提出 ,我會第一時間回復。
獲取更多優質 AI 繪畫干貨知識,歡迎訪問 「優設AI自學網」 ,超多 AI 繪畫神器與教程等你探索。
訪問鏈接: https://ai.uisdc.com/
參考資料:
https://blog.csdn.net/naisongwen/article/details/132040012
https://zhuanlan.zhihu.com/p/631452035
推薦閱讀:
復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。
發評論!每天贏獎品
點擊 登錄 后,在評論區留言,系統會隨機派送獎品
2012年成立至今,是國內備受歡迎的設計師平臺,提供獎品贊助 聯系我們
標志設計標準教程
已累計誕生 729 位幸運星
發表評論 為下方 3 條評論點贊,解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓