大家好,這里是和你們一起探索 AI 繪畫的花生~
今天為大家推薦一種用 AI 輔助生成任意角色三視圖的方法,用到的是 Stability AI 新出的 Stable Zero123 模型,并結(jié)合 Midjourney、Stable Diffusion WebUI、Ps 等工具完成。工作流搭建完成后,用來生成一些簡單 IP 形象的三視圖非常方便。
相關(guān)推薦:
Stable Zero123 是 Stability AI 在前段時間推出的一個新模型,可以根據(jù)一張圖像生成高質(zhì)量的 3D 模型,并且支持調(diào)整相機角度,也就我們可以根據(jù)一張圖像生成多個不同視角的新圖像。
由于 Stable Zero123 是開源模型,所以很快就有人在 ComfyUI 中建立了用 Stable Zero123 生成多視角圖像的工作流,下圖就是根據(jù)一張正面圖生成的 6 個視角的新圖像(文末有文件資源)。
工作流的具體操作方法為:
①將工作流導(dǎo)入 ComfyUI,對于缺失的節(jié)點,可以直接在 Manager 中安裝補全然后重啟。
②先在 Load Image 中上傳一張 IP 角色圖像,圖像需要有干凈的背景,并且主體和背景之間的反差要明顯。
③安裝 Zero123 模型。首先我們需要下載官方的 stable_zero123.ckpt 文件,安裝根目錄的 Checkpoints 大模型文件夾中。然后在 Range (Num Steps)- Float 節(jié)點中設(shè)置開始角度、結(jié)束角度和總的生成張數(shù)。30 表示順時針旋轉(zhuǎn) 30°,180 表示順時針旋轉(zhuǎn) 180°,6 表示在 30°-180° 之間生成 6 張圖像。
④生成時可以多嘗試調(diào)節(jié) KSampler 節(jié)點中的 cfg 參數(shù),推薦在 2-6 之間嘗試,數(shù)值較低時,新圖像的效果會比較穩(wěn)定。
⑤然后在 PipeLoader 節(jié)點中設(shè)置新圖像的生成參數(shù),包括大模型、VAE、提示詞等。我選擇的是一個 SDXL 大模型,提示詞描述了圖像的內(nèi)容 “A cute man, smile, gray short hair, wearing a blue suit, black belt, black leaves, gray shoes, 3D style, chibi, movie layered lighting,bright color”,反向提示詞選常用的即可。
⑥再設(shè)置 Controlnet 參數(shù),這一步用于控制放大后圖像的外輪廓。因為我的大模型是 SDXL 的,所以這里用的是 controlne t 模型是 sai_xl_canny_256lora.safttensors,預(yù)處理器是 CannyEdgePreprocessor。
⑦繼續(xù)設(shè)置 IPAdapter 參數(shù),這一步可以讓新生成的圖像在風(fēng)格上與原圖保持一致,需要用到 ip-adapter-plus_sdxl_vit-h.bin 模型(文末有資源包),下載后安裝到根目錄的 custom_nodes\ComfyUI_IPAdapter_plus\models 和 custom_nodes\IPAdapter-ComfyUI\models 文件夾中。
⑧最后設(shè)置 Upscale 放大參數(shù),用到的是 4x-UltraSharp 模型。然后點擊 Queue Prompt 模型,就能得到多張清晰的視角圖了。
上面是在本地部署 Stable Zero123 模型生成多角度視圖的方式,優(yōu)點是可以靈活調(diào)整角度和生成效果。對于不會使用 ComfyUI 的小伙伴來說,我們也可以使用一些同類的在線工具生成多視角圖像,下面為大家推薦 2 種:
1)Wonder3D
網(wǎng)址: https://huggingface.co/spaces/flamehaze1115/Wonder3D-demo
Wonder3D 是一個根據(jù)單張圖像生成 3D 形象的模型,支持 2D 和 3D 圖像,并且效果相當穩(wěn)定。它在 Huggingface 上有一個免費使用的 Demo,可以根據(jù)一張圖像生成 6 個不同的視角以及法線 圖。如果對生成效果不滿意,可以點擊 Adanced options 選項,修改 cfg 參數(shù)、Inference Steps 和種子值來優(yōu)化圖像效果。
2)Zero123++
網(wǎng)址: https://huggingface.co/spaces/sudo-ai/zero123plus-demo-space
Zero123++ 也是一個可以根據(jù)單張圖像生成多視角圖像的模型,圖像上傳后點擊 Generate,等待幾分鐘就能得到多個視角的圖像,同樣支持修改 cfg 參數(shù)、Inference Steps 和種子值來優(yōu)化圖像效果。由于它的視角非常多樣,所以生成的圖像也可以用來訓(xùn)練單個物體或人物的 Lora 模型。
通過上一步我們可以得到一個角色的基礎(chǔ)三視圖,如果你覺得圖像中的人物的細節(jié)還不夠好,可以再用 Midjourney 的墊圖功能優(yōu)化圖像,讓細節(jié)更完整精致。如果覺得上一步的圖已經(jīng)很完整了, 那么也可以跳過這里的優(yōu)化。
這一步需要注意的包括:
- 提前確定好圖像的分辨率,需要適合三視圖的比例,我使用的是 1400-*1000px (7:5);
- 除了墊圖之外,文本提示詞也要詳細描述畫面的細節(jié);
- 多調(diào)整提示詞或者 --iw 參數(shù),探索不同的結(jié)果。
多次抽卡后,從中挑選出最合適的圖像,組成新的三視圖用于下一步的操作。中間我還用 Ps 處理了一下人物的眼睛,讓畫面的細節(jié)更一致。
有了基礎(chǔ)的三視圖之后,我們可以用 Stable Diffusion WebUI 對其進行進一步加工,讓三個視角在風(fēng)格和細節(jié)上更統(tǒng)一,具體操作方式如下:
- 進入圖生圖版塊,先選擇一個風(fēng)格契合的大模型。
- 將我們準備好的三視圖上傳到圖生圖版塊,設(shè)置好提示詞和生成參數(shù);重繪幅度不宜太高,0.2-0.5 為佳;
- 啟用 controlnet 插件,選擇 tile 模型,保證新生成的與原圖的相似度。
生成參數(shù)可以參考下面的設(shè)置(文末也有 Lightflow 工作流文件,可以直接導(dǎo)入 WebUI 中使用):
- 大模型:revAnimated_v122, VAE hash: 235745af8d / VAE: vae-ft-mse-840000-ema-pruned.safetensors
- 正向提示詞:best quality,old masters,Front view,side view and back view of A cute boy. The cute boy wearing a light blue suit and gray shoes,smile,gray hair. Three view picture,full body,3D,chibi,minimalist,blindbox,white background,blender,chibi,
- 反向提示詞:ng_deepnegative_v1_75t,easynegative,badhandv4
- Steps: 28, Sampler: Euler a, CFG scale: 7, Seed: 316427694, Size: 1024x728, Denoising strength: 0.4, Clip skip: 2,
- ControlNet 0: tile_resample, control_v11f1e_sd15_tile, Weight: 0.9
完成以上步驟后,我們就獲得一套完整且細節(jié)對應(yīng)的三視圖了,后期還可以繼續(xù)放入 Ps 中對色調(diào)、對比度等細節(jié)進行調(diào)節(jié)。這算是目前效果最好的生成任意角色三視圖的方法,文章內(nèi)提到的模型和工作流文件都在文末的網(wǎng)盤鏈接內(nèi),大家記得下載。如果你還不了解 Midjourney 和 Stable Diffusion 的用法,可以看看我最新制作的 《零基礎(chǔ) AI 繪畫入門指南》,這是一門面向 AI 繪畫零基礎(chǔ)人群的系統(tǒng)課程,有全面細致的用法教學(xué),并提供配套資源,能幫你快速掌握這兩款目前最熱門的 AI 繪畫工具。
喜歡本期推薦的話記得點贊收藏支持一波,也可以分享給身邊有需要的朋友。如果有關(guān)于文章或者 AI 繪畫的疑問,可以掃描下方二維碼加入 “優(yōu)設(shè) AI 繪畫交流群” 和我直接交流,還可以和其他設(shè)計師 一起交流學(xué)習(xí) AI 繪畫知識~
推薦閱讀:
復(fù)制本文鏈接 文章為作者獨立觀點不代表優(yōu)設(shè)網(wǎng)立場,未經(jīng)允許不得轉(zhuǎn)載。
發(fā)評論!每天贏獎品
點擊 登錄 后,在評論區(qū)留言,系統(tǒng)會隨機派送獎品
2012年成立至今,是國內(nèi)備受歡迎的設(shè)計師平臺,提供獎品贊助 聯(lián)系我們
標志設(shè)計標準教程
已累計誕生 729 位幸運星
發(fā)表評論 為下方 23 條評論點贊,解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓