相信我們很多人在看過動(dòng)漫/動(dòng)畫后，都想看一看二次元世界中的自己長(zhǎng)什么樣子，那今天就以客戶照片為例，說說我們?nèi)绾斡?Stable Diffusion，讓 AI 幫我們將真實(shí)照片轉(zhuǎn)成一個(gè)絕美二次元少女，Let’s do it~

更多SD干貨：

客戶原圖照片如下，希望轉(zhuǎn)成二次元甜美少女。

1. 打開 Web UI ,用 Tag 反推，輔助書寫關(guān)鍵詞

用 Tag 反推中傳入照片，點(diǎn)擊反推得到紅框中大致的畫面內(nèi)容描述詞

1girl, solo, looking up, brown hair, belt, long hair, arm up, realistic, midriff, brown eyes, outdoors, pants, tree, striped shirt, white pants, shirt, teeth, day, open mouth, flower, sunlight
1 girl，solo，抬頭，棕色頭發(fā)，腰帶，長(zhǎng)發(fā)，手臂向上，逼真，腹部，棕色眼睛，戶外，褲子，樹，條紋襯衫，白色褲子，襯衫，牙齒，白天，張開嘴，花，陽光

調(diào)整權(quán)重順序，結(jié)合 Sd 通用畫質(zhì)關(guān)鍵詞，添加我們想要的內(nèi)容，得到以下正向關(guān)鍵詞

((masterpiece)),best quality,Very rich facial details,1 girl, solo, Smile,Look up, Arms up,(Abdomen:1.3),Long hair,Brown hair, White-blue long sleeves, Black belt, White trousers,(Cyan trees:1.2),Lifelike,Summer day, Outdoor, Sunshine, Tree, During the day,
杰作，最好的質(zhì)量，非常豐富的面部細(xì)節(jié)，1 個(gè)女孩，獨(dú)身，微笑，抬頭，手臂向上，（腹部：1.3），長(zhǎng)發(fā)，棕色頭發(fā)，白藍(lán)色長(zhǎng)袖，黑色腰帶，白色褲子，（青色樹木：1.2），Lifelike，夏日，戶外，陽光，樹，白天，

負(fù)面提示詞輸入通用模板，將 2 個(gè)處理手的 embedding badhand 和 easynegative 放在最前面，并給（badhand:1.5）增加 1.5 的權(quán)重，得到以下

(badhandv4:1.5), easynegative，(worst quality,low quality:1.4),3D face,greyscale,monochrome,cropped,lowres,text,jpeg artifacts,signature,watermark,usename,blurry,artist name,trademark,watermark,title,multiple view,Referece sheet,curvy,plump,fat,muscular female,nsfw,

2. 選擇模型，測(cè)試關(guān)鍵詞

我的 web ui 中二次元畫風(fēng)模型有十幾個(gè)，我們先隨意選擇 1 個(gè) anything 模型來測(cè)試關(guān)鍵詞，配合 anything 的 vae，clip 跳過層設(shè)置 2，重要設(shè)置如下所示

3. 使用 Controlnet 的 openpose full 處理器與模型，檢測(cè)全身骨骼來控制姿勢(shì)

重要設(shè)置如下圖所示，完成設(shè)置后，點(diǎn)擊 4 爆炸小按鈕，得到右邊黑色骨骼圖：

點(diǎn)擊步驟 5 能看骨骼圖與人物的對(duì)應(yīng)情況，我們能發(fā)現(xiàn) openpose 處理后的骨骼不準(zhǔn)確，腿部骨骼缺失，右手手指沒有骨骼

使用 openpose 的骨骼編輯插件，重新添加骨骼，得到新骨骼如下，然后 send pose to controlnet 發(fā)送骨骼到 controlnet

注：openpose 的骨骼編輯插件使用教程有一點(diǎn)復(fù)雜，可以在 B 站看一個(gè)教程后再開始操作

4. 得到新骨骼后，第一個(gè) controlnet 預(yù)處理器選擇“無”，模型選擇 open pose

5. 第二個(gè) controlnet 預(yù)處理器選擇 SoftEdge_pidnet，模型選擇 SoftEdge，設(shè)置如下所示

SoftEdge 模型的作用是軟邊緣檢測(cè)，可以檢測(cè)到原圖邊緣輪廓信息，得到處理結(jié)果如下圖

6. 完成以上所有設(shè)置，點(diǎn)擊「生成」進(jìn)行第一次試跑，測(cè)試模型與 controlnet 的控制效果，結(jié)果如下

觀察圖片能夠發(fā)現(xiàn)人物的姿勢(shì)與外形輪廓控制還不錯(cuò)，但出現(xiàn)的問題是：

1. 人物服裝顏色控制不準(zhǔn)確
2. 人物面部與手部完全糊掉，沒有細(xì)節(jié)，模糊一方面與尺寸太小 分辨率不高有關(guān)，另一方面是骨骼細(xì)節(jié)的模糊導(dǎo)致，那接下來將一步步解決以上問題

7. 首先解決顏色控制，可以使用 SD 顏色控制插件「cut off」

復(fù)制帶顏色的關(guān)鍵詞（ Brown hair, White-blue long sleeves, Black belt, White trousers,(Cyan trees:1.2),）去掉后綴名詞只保留顏色，得到以下顏色關(guān)鍵詞

再次「生成」跑圖測(cè)試，得到以下結(jié)果

能夠看到加入「cut off」效果還不錯(cuò)，第 2 張的顏色大部分是準(zhǔn)確的，各顏色區(qū)別的很開 沒有交錯(cuò)模糊；當(dāng)然如果還不準(zhǔn)確，可以適當(dāng)提高紅框權(quán)重到 1 進(jìn)行測(cè)試

8. 接著解決面部崩壞的問題

使用 SD 的修臉插件「After Dtailer」縮寫為「ADtailer」選擇臉部模型「face_yolov8s.pt」正負(fù)關(guān)鍵詞先不用寫，保持空白

點(diǎn)擊「生成」效果如下圖所示

不得不說與前圖對(duì)比，修臉效果非常棒，唯美二次元少女已經(jīng)成型了一大半

9. 暫時(shí)先不解決手部問題，先測(cè)試模型，看是否有其他更仙，更好看的二次元大模型

前面說到我的 web ui 中二次元畫風(fēng)模型有十幾個(gè)，為了提升效率，避免 1 個(gè)個(gè)去試，這里可以使用神器功能「腳本」進(jìn)行測(cè)試

開啟腳本，選擇「x/y/z 圖表」，X 軸選擇我們想測(cè)試的參數(shù)—— 模型名「chechpoint name」
右側(cè)框中選擇模型，這里暫時(shí)每次選 4 個(gè)進(jìn)行測(cè)試，避免太多 SD 卡掉生不出來；

其他參數(shù) Y、Z 軸先不動(dòng)，將最下方的「宮格圖邊框」改為 10 ——可以讓我們最終生成的每張宮格圖 間距10像素

完成設(shè)置，點(diǎn)擊「生成」跑圖測(cè)試，我分了 3 次每組 4 個(gè)模型生成以下對(duì)比圖，腳本的組合對(duì)比圖真的超好用

12 個(gè)模型對(duì)比，能看到目前最好看的是第三排第一個(gè)的「Ghost Mix _v2.0」模型，人物非常仙且臉部細(xì)節(jié)細(xì)膩，接下來就用「Ghost Mix _v2.0」模型進(jìn)行優(yōu)化

10. 選定模型，加大批次進(jìn)行跑圖篩選

選擇「Ghost Mix _v2.0」模型，將「生成批次」調(diào)為 6，1 次跑 6 張，上面我們已經(jīng)得到模型測(cè)試結(jié)果，就先將「腳本」功能關(guān)閉，點(diǎn)擊「生成」

6 張中最后一張最好看，已經(jīng)達(dá)到 60 分～～

11、開啟 SD 的修復(fù)步驟，將一張 60 分的圖修復(fù)到 90 分

①選擇最后 1 張，將圖發(fā)送到「圖生圖」開啟圖像高清修復(fù)放大的插件「Tiled Diffusion」「分塊 VAE」，保持默認(rèn)放大 2 倍，設(shè)置如下所示；

「Tiled Diffusion」插件功能：放大圖片分辨率，高清修復(fù)圖片

②開啟 Controlnet， 選擇「tile」模型與處理器，權(quán)重為 1.4,具體可根據(jù)測(cè)試效果調(diào)節(jié)

「tile」模型作用：與「Tiled Diffusion」配合使用，放大+修復(fù)+細(xì)節(jié)增強(qiáng)；

③開啟「ADtailer」插件——作用：精準(zhǔn)修臉插件，效果賊棒

④保持顏色控制插件「cut off」繼續(xù)開啟——作用：保持精準(zhǔn)控制顏色分布

完成以上 4 步設(shè)置后，恭喜你可以開始點(diǎn)擊「生成」去測(cè)試效果

我的測(cè)試效果如圖，功夫不負(fù)有心人，4 步修復(fù)后，除了右手的 bug，其他都非常美～

12. 進(jìn)入修手環(huán)節(jié)，PS 繪制大形，拖入給 SD 進(jìn)行重繪

由于 SD 生手實(shí)在太費(fèi)勁，我們需要給他更精準(zhǔn)的參考，我的思路是直接把照片原圖的手摳出來讓 SD 重繪一下，再 P 到我們上面生成的美圖上，這樣就完成了一個(gè)精準(zhǔn)的參考，真是個(gè)大聰明，說干就干

在 ps 中將照片原圖的手摳出來，得到下圖，能看到非常模糊，細(xì)節(jié)不夠，不能直接使用，需要讓 SD 重繪一下

①「圖生圖」重繪：保持模型不變，將摳出的手圖拖入 SD 的「圖生圖」面板

迭代步數(shù)設(shè)置為 50-128（增加細(xì)節(jié)），重繪幅度設(shè)置在 0.2 以下，具體可根據(jù)跑圖效果微調(diào)，重繪幅度 0.2 以下非常重要

我們希望 SD 在參考上延續(xù)模型風(fēng)格、微調(diào)細(xì)節(jié)，而不想讓它改動(dòng)太大，因此重繪幅度要小，太大將會(huì)自由發(fā)揮生成不是我們要的圖，一般 0.1 就可以了；

②開啟 controlnet「tile」預(yù)處理器與模型，放大 增加細(xì)節(jié)

設(shè)置完成后點(diǎn)擊生成，得到下圖左，用 ps 將這個(gè)手合在我們上面生成的圖上，得到完整的圖

觀察整圖能看到問題：1 手的光影細(xì)節(jié)還是與環(huán)境不融合 2 人物面部細(xì)節(jié)不夠；

③解決手的光影細(xì)節(jié)與環(huán)境不融合問題

將圖片拖入到圖生圖的「局部重繪」，用蒙版將手部涂抹出來，「重繪幅度」開到 0.1（低重繪幅度，保持大體形象、骨骼、細(xì)節(jié)不變）

開啟「tiled diffusion」「分塊 VAE」以及 Controlnet「tile」預(yù)處理器與模型，重繪的同時(shí)提高圖片分辨率，高清修復(fù)，加入豐富細(xì)節(jié)

完成以上設(shè)置，點(diǎn)擊「生成」測(cè)試效果

得到上圖，效果相當(dāng)不錯(cuò)，手部已經(jīng)自然的融入環(huán)境，只剩下面部細(xì)節(jié)不豐富精致的問題

13. 最后一步——修臉，還是用修臉插件「ADtailer」

再次將生成的圖「發(fā)送到圖生圖」，開啟 SD 的修臉插件「ADtailer」選擇臉部模型「face_yolov8s.pt」關(guān)鍵詞不用寫

重繪幅度設(shè)為 0，同時(shí)在重繪下開啟「獨(dú)立重繪寬高」如紅框所示，目的是為了避免 2 次修臉，導(dǎo)致過度修臉

重繪幅度為 0——為了保證SD本身不做任何 重繪，臉部外的區(qū)域保持不變

「獨(dú)立重繪寬高」——指「ADtailer」插件工作——在獨(dú)立的寬高區(qū)域下重繪1次臉，再把生成的臉放到原圖上，合在一起得到最終圖

完成以上設(shè)置，再次「生成」跑圖，得到下圖

哇，是不是很美～～

經(jīng)過這步修臉之后，我們所有問題都處理完了，這次生成的圖，有精致豐富的面部細(xì)節(jié)，自然的手部動(dòng)作，以及準(zhǔn)確的姿勢(shì)，都保證了與原圖的極大相似；

至此我們就完成了真人照片轉(zhuǎn)二次元的所有流程，得到了我們的最終絕美照片，也完成了 1 對(duì) 1 的定制生成；

客官 怎么樣， 這樣的效果您還滿意嗎

快去拿著這份「寶典」用自己的照片試一試叭，二次元美女期待你的大波返圖 ～

上文提到的插件：

1. Tag 反推（Tagger）——根據(jù)圖片，一鍵反推提示詞，反推的關(guān)鍵詞更精準(zhǔn)，生成的圖片效果也更接近于原圖效果；
   下載地址： https://github.com/toriato/stable-diffusion-webui-wd14-tagger.git
2. ControlNet ——SD的精準(zhǔn)控制網(wǎng)插件，正是由于它的存在，才使AI繪畫在SD上 實(shí)現(xiàn)了可控的效果；
   下載地址： https://github.com/Mikubill/sd-webui-controlnet
3. Tiled Diffusion——SD分區(qū)繪制及放大插件，Tiled Diffusion放大的原理和文生圖中的高清修復(fù)類似，本質(zhì)是重繪，區(qū)別在于它是分區(qū)塊繪制，可大大降低顯存壓力；
   下載地址： https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111
4. Cutoff——精準(zhǔn)控制物體顏色。使用 AI 繪畫時(shí)，如果提示詞中設(shè)定顏色過多，很容易出現(xiàn)不同物體之間顏色混雜的情況，Cut off 插件能很好的解決這個(gè)問題，讓畫面中物體的顏色不會(huì)相互污染。
   下載地址： https://github.com/hnmr293/sd-webui-cutoff
5. ADetailer——After Detailer 面部修復(fù)插件。可以自動(dòng)檢測(cè)、遮蓋和修復(fù)圖片中的人臉、手部或全身；
   下載地址： https://github.com/Bing-su/adetailer
6. openpose-editor 插件——openpose骨骼編輯插件，可以隨便的更改變換姿勢(shì)
   下載地址： https://github.com/huchenlei/sd-webui-openpose-editor.git