推薦閱讀

我們的偵探解密游戲開(kāi)發(fā)接近尾聲，于是開(kāi)發(fā)者們開(kāi)始瘋狂的折磨 AI。眾所周知，開(kāi)發(fā)者玩 AI 游戲基本不會(huì)玩游戲，所以折磨 AI 就成了大家日常解壓的工具。好在我們的 AI 角色一個(gè)個(gè)脾氣好性格好，不會(huì)急，就開(kāi)心的淪為了群聊的視頻素材。

既然如此今天我們就不聊游戲，聊聊我們對(duì) AI 視頻生產(chǎn)管線的一些探索和思考。

傳統(tǒng)的游戲動(dòng)畫生產(chǎn)流程中，如果是個(gè)簡(jiǎn)單的劇情對(duì)話類的動(dòng)畫，大概需要經(jīng)過(guò)以下步驟：

1. 整體劇情方向確定
2. 寫劇本，直到劇本確定
3. 根據(jù)劇本，拆分任務(wù)流程，確定角色表演臺(tái)本
4. 根據(jù)任務(wù)流程，確認(rèn)演出區(qū)域和演出角色（還可以包括提資源需求）
5. 設(shè)置舞臺(tái)，布置角色站位、位移動(dòng)線
6. 制作演出鏡頭
7. 制作角色演出表現(xiàn)，動(dòng)作表情等（在這一步其實(shí)算是初版了）
8. 加入配音、特效材質(zhì)、燈光等處理
9. 根據(jù)整體動(dòng)畫節(jié)奏，進(jìn)行調(diào)優(yōu)，比如表情卡配音的重音點(diǎn)
10. 完成，導(dǎo)出。

在與團(tuán)隊(duì)協(xié)作不斷反復(fù)這個(gè)工業(yè)化流程時(shí)，我們慢慢覺(jué)得可以將流程轉(zhuǎn)變?yōu)椋?/p>

①前期準(zhǔn)備

1. 創(chuàng)建世界觀和各種知識(shí)庫(kù)（給 AI 用的你懂的）
2. 創(chuàng)建各種表演用的資產(chǎn)庫(kù)（鏡頭庫(kù)、動(dòng)作庫(kù)、效果庫(kù)）
3. 創(chuàng)建角色卡，關(guān)聯(lián)各種庫(kù)。

②在 AI 的輔助下續(xù)寫劇情，根據(jù)需求輸出各種庫(kù)的資產(chǎn)需求。

③根據(jù)任務(wù)流程，在 AI 的輔助下確認(rèn)演出區(qū)域和演出角色。

④在對(duì)應(yīng)的引擎內(nèi)位置，在 AI 的輔助下生成動(dòng)畫序列初版（一次性生成語(yǔ)音、表情、動(dòng)作、鏡頭、燈光、特效）。（動(dòng)畫序列：UE：Sequence/Unity：Timeline）

⑤根據(jù)整體動(dòng)畫節(jié)奏，進(jìn)行調(diào)優(yōu)，先調(diào)整表演節(jié)奏，再微調(diào)燈光和鏡頭。

⑥完成，導(dǎo)出。

也就是說(shuō)，借助 AI 的能力不斷的迭代和滾動(dòng)一組項(xiàng)目的庫(kù)，而讓 AI 輔助設(shè)計(jì)師和開(kāi)發(fā)者進(jìn)行動(dòng)畫生產(chǎn)的提效工作。隨著互相的熟悉應(yīng)該可以異步協(xié)作，越來(lái)越快。

既然已經(jīng)涉及到了各種公共庫(kù)和各種 AI 能力，那么，這個(gè)工具本身就要從一個(gè)本地工具變成一個(gè)“關(guān)聯(lián)本地”的 SaaS 服務(wù)。我們思考了很久，這樣一個(gè) SaaS 該按照什么順序進(jìn)行開(kāi)發(fā)，最終決定：以終為始。從末端開(kāi)始，逐步向前開(kāi)發(fā)，用后一步的結(jié)果逆推前一步需要的東西都是什么。

經(jīng)過(guò)相當(dāng)長(zhǎng)的一段時(shí)間的嘗試，我們將劇情動(dòng)畫的要素按照以下內(nèi)容進(jìn)行分類：

①攝像機(jī)控制

1. 機(jī)位選擇
2. 切鏡頭時(shí)機(jī)
3. 運(yùn)鏡方式

②角色控制

1. 角色姿態(tài)控制
2. 角色間互動(dòng)關(guān)系控制
3. 角色移動(dòng)控制
4. 角色表演播放控制

那么下一步就是探索如何將這些東西準(zhǔn)確的擺出來(lái)。已知條件是我們的對(duì)白臺(tái)本已經(jīng)有了。那么我們就可以以此為始進(jìn)行整個(gè)動(dòng)畫序列生成。

一般情況下，游戲所使用的劇情對(duì)話表必然會(huì)存在兩列：說(shuō)話角色名和角色說(shuō)的話。于是我們就可以知道角色的身份信息，結(jié)合上下文 AI 可以進(jìn)一步分析出角色的情緒。我們還可以通過(guò)角色卡知道角色應(yīng)該用哪個(gè)音頻模型，用合適的情緒生成配音。拿到配音之后，我們終于確定了表演上的第一個(gè)基準(zhǔn)線：音頻時(shí)長(zhǎng)。

接著，就是在這個(gè)基礎(chǔ)上去擴(kuò)展表演的內(nèi)容：動(dòng)作。一個(gè) AI 負(fù)責(zé)生成口型，另一個(gè) AI 通過(guò)分析臺(tái)詞，將合適的動(dòng)作創(chuàng)建在合適的時(shí)間點(diǎn)。這時(shí)可能會(huì)出現(xiàn)一次對(duì)時(shí)間的調(diào)整——配音的時(shí)長(zhǎng)不一定足夠角色的動(dòng)作表演完整。

此時(shí)，這個(gè) Seuqnce 的基本內(nèi)容已經(jīng)有個(gè)底子了。下一步就該導(dǎo)演 AI 上場(chǎng)了。作為賽博導(dǎo)演，他的主要工作就是決定合適啟用哪個(gè)攝像機(jī)，以及決定這個(gè)相機(jī)該怎么動(dòng)。他現(xiàn)在知道這些信息：角色的站位，每句臺(tái)詞的時(shí)長(zhǎng)和情緒，角色的說(shuō)話順序。他需要利用這些信息，將角色之間的互動(dòng)關(guān)系進(jìn)行整理，并將合適的機(jī)位選擇出來(lái)。

這個(gè)家伙雖然叫導(dǎo)演，但是往往需要聽(tīng)從甲方（人類）的指揮，所以他有一組專門的配置表，讓他知道他的甲方希望他用哪些鏡頭。他在其中選擇最合適的，并且去避免出現(xiàn)越軸等常識(shí)性錯(cuò)誤。（如果手勤快的話，它甚至可以不是個(gè) AI）

最后就是燈光師，根據(jù)機(jī)位和角色的位置，選擇啟用合適的燈光（對(duì)，它也可以不是個(gè) AI）。

其實(shí)一個(gè) Sequence 的確認(rèn)過(guò)程，必然離不開(kāi)人類的不斷產(chǎn)生“新想法”以及作為甲方“再試試內(nèi)樣來(lái)一個(gè)”的需求。同時(shí)還要做好“還是第一版好”的準(zhǔn)備。因此，整個(gè)動(dòng)畫生產(chǎn)管線需要支持用戶在這個(gè)過(guò)程中手動(dòng)調(diào)整，并重新順次調(diào)整后續(xù)的結(jié)果。以及，記錄每一次生成的 Seed，用于回滾（叫固化結(jié)果也行）。

解決完這個(gè)視頻生成階段的問(wèn)題，我們繼續(xù)向上游走，也就是劇情對(duì)白的生產(chǎn)，這也就是常規(guī)意義上的劇情續(xù)寫。重點(diǎn)的思考過(guò)程在于，希望整個(gè)過(guò)程變成一個(gè)持續(xù)滾動(dòng)，可以異步并行的管線。劇情設(shè)計(jì)者和動(dòng)畫的制作人員和 AI 都能時(shí)刻保持“資源和知識(shí)是最新的”。

①在劇情書寫的過(guò)程中，有幾個(gè) AI 助理在時(shí)刻保持知識(shí)庫(kù)的更新。

1. 角色需要知道的知識(shí)
2. 劇情世界觀上發(fā)生的事情
3. 各種實(shí)體關(guān)系的變化
4. 關(guān)鍵信息
5. … …

上述知識(shí)都需要根據(jù)對(duì)應(yīng)的時(shí)間/章節(jié)/任務(wù)/（更符合項(xiàng)目使用的方式）進(jìn)行管理，并加上對(duì)應(yīng)的標(biāo)簽。（如果團(tuán)隊(duì)里的人類不夠多，可能還需要一個(gè)專門的 AI 來(lái)管理標(biāo)簽）

②同時(shí)，美術(shù)同學(xué)在確定項(xiàng)目所需的基礎(chǔ)骨骼之后就可以開(kāi)始根據(jù)策劃需求輸出的動(dòng)畫資產(chǎn)了。而策劃要在此基礎(chǔ)上建立動(dòng)作庫(kù)。

1. 動(dòng)作庫(kù)不是所有動(dòng)作的列表，而是每個(gè)角色可以用的動(dòng)作列表。
2. 一個(gè)項(xiàng)目理論上會(huì)有“無(wú)論如何都一定要有的資產(chǎn)”，這些資產(chǎn)可以在不等策劃的情況下直接開(kāi)整。
3. 而隨著劇情中涉及“表演”的內(nèi)容不斷出現(xiàn)，助理 AI 就需要將其中的動(dòng)作需求整理出來(lái)。此處涉及到資產(chǎn)需求的撰寫，相同資產(chǎn)的合并以及人工審核。
4. 當(dāng)確認(rèn)可用的資產(chǎn)不斷變多，前文提到的劇情表演就有了更多優(yōu)化的空間，可以讓邏輯驅(qū)動(dòng)再跑一次。

③當(dāng)角色卡、知識(shí)庫(kù)和美術(shù)資產(chǎn)庫(kù)（尤其是動(dòng)作庫(kù)）在一起時(shí)，就可以實(shí)現(xiàn)讓動(dòng)畫生成管線根據(jù)角色卡的配置調(diào)用符合角色當(dāng)前狀態(tài)的“專用表演”內(nèi)容了。

隨著項(xiàng)目的開(kāi)發(fā)，我們已經(jīng)將這款工具的一部分加入到游戲運(yùn)行時(shí)，讓游戲內(nèi)的實(shí)時(shí)表演也能有更好、更合理的效果。而這款方便的管線，也讓我們通過(guò)已有的游戲輸出視頻宣傳素材變得很容易。尤其是 AI 游戲，它就是靠對(duì)白來(lái)做內(nèi)容的，簡(jiǎn)直太好了。