眾所周知，各大廠目前都在 AIGC 的領(lǐng)域探索實(shí)踐，也有非常多的外部設(shè)計(jì)師制作了大量的 AIGC 相關(guān)授課，很多同學(xué)因?yàn)椴磺宄唧w能得到什么價(jià)值或者收獲而停止了腳步。今天我來為大家分享一下經(jīng)過實(shí)際探索且落地的 Stable diffusion 的 IP 海報(bào)生成流程，內(nèi)容很干請上車坐穩(wěn)。

更多AI實(shí)戰(zhàn)案例：

先來看一下達(dá)達(dá)騎士 IP 的效果：

V1 模型生成

V2 模型生成

V3 模型生成

一、運(yùn)用 SD 訓(xùn)練 IP 的流程和技巧（LoRA 篇）

先來介紹一下什么是 LoRA。

大家剛接觸 stable diffusion 時(shí)，會(huì)聽到很多專業(yè)術(shù)語，其中 LoRA 模型必定是會(huì)被提及到的，那么什么是 LoRA 模型？它有什么作用呢？

LoRA 模型全稱是：Low-Rank Adaptation of Large Language Models，可以理解為 Stable-Diffusion 中的一個(gè)插件，僅需要少量的數(shù)據(jù)就可以進(jìn)行訓(xùn)練的一種模型。在生成圖片時(shí)，LoRA 模型會(huì)與大模型結(jié)合使用，從而實(shí)現(xiàn)對輸出圖片結(jié)果的調(diào)整。

舉個(gè)例子：大模型好比沒有修飾過的人物、物品、場景、等；LoRA 模型好比是改變?nèi)宋铩⑽锲贰鼍暗葍?nèi)容的形色質(zhì)構(gòu)的因素，但仍然在大模型的底子下。當(dāng)然 LoRA 模型不僅僅限制于人物，場景、動(dòng)漫、風(fēng)格。

1. 訓(xùn)練環(huán)境的搭建

本地：可下載秋葉 SD trainer 訓(xùn)練器一鍵包，具體教程看：

2. 訓(xùn)練集處理（圖片處理+打標(biāo)+訓(xùn)練參數(shù)）

①圖片處理

首先我們需要準(zhǔn)備訓(xùn)練的 IP（也可以是：物品、場景、風(fēng)格等），訓(xùn)練圖的尺寸需要統(tǒng)一，且以 64 的倍數(shù)設(shè)置：常用分辨率為 512*512、512*768、768*1152。因?yàn)槿绻叽绮唤y(tǒng)一或不是 64 的倍數(shù)，AI 在訓(xùn)練過程會(huì)對你的圖片進(jìn)行裁切，導(dǎo)致你想要的畫面細(xì)節(jié)被裁減

其次我們需要有 3 種類型的圖：白底 IP 圖+場景 IP 結(jié)合圖+單獨(dú)場景圖，整個(gè)訓(xùn)練集的數(shù)量可以有多少準(zhǔn)備多少，越多越好（但是要保證差異性，重復(fù)的動(dòng)作或角度需要剔除）。

②打標(biāo)

當(dāng)我們準(zhǔn)備好需要 AI 訓(xùn)練的圖以后我們需要對這些訓(xùn)練圖進(jìn)行描述，可使用自動(dòng)打標(biāo)工具或手動(dòng)打標(biāo)（手動(dòng)打標(biāo)訓(xùn)練效果會(huì)更好） ，準(zhǔn)備一個(gè) txt 文本（保證和你描述的圖片命名一一對應(yīng)），然后進(jìn)行詳細(xì)的描述，以下是我的一些舉例：

在打標(biāo)描述里需要注意格式：我們常用的格式是“觸發(fā)詞”+“自然語言”+“單詞”，并且保證全程英文輸入，包括標(biāo)點(diǎn)符號

3. 模型訓(xùn)練&參數(shù)設(shè)置

（注：這里的參數(shù)需要根據(jù)自身訓(xùn)練的 IP 或內(nèi)容進(jìn)行調(diào)優(yōu)，存在是錯(cuò)成本，這里給大家科普一些基礎(chǔ)）

①補(bǔ)充 2 個(gè)概念：欠擬合、過擬合

過擬合：指 AI 只會(huì)生成你給他提供的訓(xùn)練集內(nèi)容，比如 IP 動(dòng)作、場景、元素、等

欠擬合：指 AI 生成的內(nèi)容和你訓(xùn)練集的內(nèi)容完全沒關(guān)聯(lián)，或者說收斂性很差導(dǎo)致 IP 不像

②基礎(chǔ)訓(xùn)練參數(shù)

repeat 次數(shù)（每張圖訓(xùn)練的次數(shù)，次數(shù)不是越高越高，訓(xùn)練太多會(huì)導(dǎo)致過擬合，訓(xùn)練太少會(huì)導(dǎo)致欠擬合）

epoch 訓(xùn)練輪數(shù)（訓(xùn)練集訓(xùn)練的輪數(shù)，輪數(shù)不是越高越好，訓(xùn)練太多會(huì)導(dǎo)致過擬合，訓(xùn)練太少會(huì)導(dǎo)致欠擬合）

dim 值（dim 代表了訓(xùn)練的精度）

alpha 值（alpha 用于控制模型復(fù)雜性和約束性，alpha 必須≤dim）

learning rate、unet lr、text encoder lr（學(xué)習(xí)率決定模型學(xué)習(xí)的程度，影響訓(xùn)練效果，比如穩(wěn)定性、泛化性、收斂性）

訓(xùn)練優(yōu)化器（自適應(yīng)優(yōu)化器和非自適應(yīng)，決定了 AI 學(xué)習(xí)節(jié)奏）

③訓(xùn)練過程中的觀察

需要觀察訓(xùn)練的 Loss 值，Loss 值需要成遞減狀態(tài)（正常狀態(tài)），曲線波動(dòng)不易較大。并且需要記錄每一次訓(xùn)練的參數(shù)和 Loss 值來分析后續(xù)模型調(diào)優(yōu)的方向

4. 模型測試

模型測試階段，我們需要啟動(dòng) SD，并且運(yùn)用 XYZ 軸來測試每個(gè)版本的模型搭配的 LoRA 權(quán)重，以及大模型，最終沉淀出我們最優(yōu)版本的模型。

在測試階段我們需要圍繞著 3 個(gè)核心的點(diǎn)：穩(wěn)定性、泛化性、以及收斂性進(jìn)行測試。

穩(wěn)定性：模型是不是在大多數(shù) prompt 輸入下，都能夠出現(xiàn)好的效果

泛化行：生成的內(nèi)容是不是有 AI 創(chuàng)新的內(nèi)容（動(dòng)作、場景、元素、等）

收斂性：生成的 IP 以及特征（或其他核心內(nèi)容）是不是你想要的效果

五、運(yùn)用 SD 穩(wěn)定生成高質(zhì)量 IP 海報(bào)

1. 模型&提示詞

生成環(huán)境模型主要包括 3 類，底模、LoRA 模型、以及 VAE（可以理解為濾鏡），我們可以嘗試各種不同的大模型，比如二次元的 anything、目前用的最多的 Rev、或者真人類的 real。

提示詞分為 2 部分，正向詞為你想要的內(nèi)容，負(fù)向詞代表你不想要的內(nèi)容

正向詞：會(huì)出現(xiàn) 3 種類型：觸發(fā)詞+提示詞+LoRA，越靠前的詞匯權(quán)重就會(huì)越高

在生成出好的效果后大家可以對自己的 prompt 進(jìn)行保存：

2. 采樣方式

簡單來說，這些采樣器是算法，它們在每個(gè)步驟后獲取生成的圖像并將其與文本提示請求的內(nèi)容進(jìn)行比較，然后對噪聲進(jìn)行一些更改，直到它逐漸達(dá)到與文本描述匹配的圖像

常用的采樣器如：Euler a、DDIM、DPM++系列，可以根據(jù)自己模型來調(diào)整嘗試出最好的參數(shù)

3. 采樣迭代步數(shù)

SD 通過從充滿噪點(diǎn)的畫布開始創(chuàng)建圖像，然后逐漸去噪以達(dá)到最終輸出。Steps 就是控制這些去噪步驟的數(shù)量。通常，越高越好，但一般情況下，我們使用的默認(rèn)值是 20 個(gè)步驟，這其實(shí)已經(jīng)足以生成任何類型的圖像

如果在測試新提示希望快速得到理想的構(gòu)圖或結(jié)果，可使用 15-20steps

當(dāng)找到確認(rèn)的 seed 后，可將步驟增加到 20-30steps

4. 面部修復(fù)

面部修復(fù)可改善臉部特這個(gè)以及細(xì)節(jié)，讓人臉更自然和美觀，建議當(dāng)找到確認(rèn)的 seed 后打開

5. 高清修復(fù)

通過使用算法,AI 可以首先在較低的分辨率下對圖片進(jìn)行部分渲染,然后將其提升到高分辨率，并在高分辨率下添加細(xì)節(jié)，建議當(dāng)找到確認(rèn)的 seed 后打開。

常用高清算法如：R-ESRGAN 4x++

6. 重繪幅度

可以理解為 AI 在創(chuàng)作過程中的發(fā)散幅度，越高的值會(huì)帶來越大的創(chuàng)意，反之會(huì)更精準(zhǔn)。

7. 隨機(jī)種子

Seed 可以理解為你生成圖的身份 ID，每個(gè)生成圖都有自己的 seed，當(dāng)確認(rèn)了基礎(chǔ)構(gòu)圖以及想要的基礎(chǔ)效果后鎖定種子，從而完成微調(diào)

8. 尺寸、批次、批數(shù)

尺寸：一般會(huì)以 64 的倍數(shù)去遞增，常用尺寸在前期確認(rèn) seed 之前會(huì)用到 512*768，512*512，等

生成批次、每批數(shù)量：每批、每次次生成的圖像數(shù)量，建議在前期找畫面之前可以開大數(shù)量去抽卡，找到自己想要的畫面，然后鎖定 seed

9. 點(diǎn)擊生成，完成 IP 海報(bào)（記得記住&保存自己的參數(shù)模版）

到這里我們整個(gè)流程就走完了，接下來我們就可以不斷的生成和創(chuàng)新我們的 IP 海報(bào)了

歡迎關(guān)注「京東設(shè)計(jì)中心JDC」的微信公眾號：