前言

我相信這是一篇針對大朋友、小朋友都通俗易懂的視頻劇本構思到視頻落地的全流程拆解教程?；诖笳Z言模型和繪圖模型的前提，有了一次和小伙伴們探索文生圖到圖生視頻的創作實踐。

廢話不多說，直接上保姆級干貨教程！保證你能夠輕松學會！

學之前，快來看看我們制作的視頻短片吧~

一、前期準備

1. 確定主題

針對于現有的 AI 生成能力，央視推出了多組 AI 視頻短片，為此我們也決定生成一個符合時代主旋律的 AI 小視頻。經過腦暴階段，有了一帶一路背景下絲綢之路這個角度的創作故事。創作方向也可以借助大語言模型生成主題方向的靈感，下面提供部分列舉方向可做參考：

2. 工具探索

通過對 AI 工具的了解和視頻的構成，我們發現當下有許多能夠進行視頻生成的工具，于是進行了部分視頻生成工具的測試。最終選擇了大語言模型 chatgpt、kimi 進行劇本分鏡設定，文生圖 midjourney 生成視覺畫面，圖生視頻選擇即夢 dreamina 制作動態畫面，suno 音樂編曲，ondoku 主角臺詞配音，視頻剪輯使用的是剪映。視頻中的小部分的音效也在網上進行了無版權下載，當然剪映里也有大量的音效可以使用。

3. 風格與時長

時長確立：制作一個 1 分鐘左右的 AI 生成畫面，加上閉幕不超過 2 分鐘。

風格確立：大致定義為中國風，當然即便風格定義成中國風也有不同的風格展示，我們采用同一提示詞，進行了風格測試對比。

這里我們使用了 Fanbook 中的 niji6 模型以及 --sref 指令，最后加上每張圖片的提示詞，完成了整個視頻風格保持一致性的確定。（當然 風格一致性......等等諸多詳細教程，后續.....趕緊小關小注）尺寸選擇 16:9。

4. 劇本分鏡設定

根據絲綢之路的古風主題，風格和時長的確定。接下來就需要設定故事主線和鏡頭。

有了以上故事劇本及相關資料的基礎，就可以進一步擴充每一個畫面啦。我們可以參考分鏡頭的基本格式要求，按照場景、地點、鏡號、畫面描述、臺詞、音效等維度進行填充。這里提一個小建議，畫面數量與臺詞長短密切相關，比如，主角一句話有 6 個字，按照 3~4 字/秒核算，需要有 2 秒的時長，而通常 1 個畫面可以生成 2~3 秒的短視頻，因此，6 個字的臺詞長度，使用一個畫面便可以滿足。換句話說，當臺詞越長，所需的畫面量越多，生圖的工作量也越大。所以我們要盡可能精簡人物的對話，提煉重點。

當然，當你對某一句臺詞，沒有足夠的畫面靈感，你還可以借助語言大模型來幫助你。比如，在這次的分鏡頭創作過程中，我們便與 Kimi 進入了深入的交流。你可以要求 Kimi 幫你寫好畫面描述（如下左圖）。你還可以直接將臺詞拋給 Kimi，讓他幫你寫好畫面描述，甚至加上對音效的需求（如下右圖）。

大模型可以為你提供足夠多的靈感，你可以多提問，多嘗試。當然，最終選取哪個畫面，如何平衡畫面之間的聯系，這都需要你進一步思考。就在以上的 AI 輔助下，我們的分鏡頭劇本就完成啦。（如下圖）

二、AIGC 視覺畫面生成階段

1. 主角人物生成

劇本中的兩位主人公，共 3 個形象，分別是年輕船員：開朗積極、充滿好奇；老船長：經驗豐富、堅韌不拔，以及老船長年輕時候的形象。通過性格特征和時代背景，描繪人物的提示詞、上傳角色參考圖--cref，最后將角色背景扣除以便于進行角色加背景的融合生成時進行墊圖操作。以老船長年輕形象為例，生成了全身、半身、側身等多角度人物圖。

2. 場景畫面生成

根據劇本創作，場景主要概括為三個場景部分，分別是海上、沙漠、市集。提示詞從劇本中的畫面描述進行提取。生成過程均采用文生圖模式，畫面風格選擇前期準備好的風格圖進行墊圖。

3. 帶主角人物的畫面生成

上傳角色圖、場景背景進行參考生成，使得人物和場景的融合度更高。

通過以上階段，我們的臺詞、劇本、風格、人物形象、畫面場景就都確立好啦。

小插曲：感謝團隊小伙伴積極投入在本次創作中，分工明確，協同并進，最終產出一份較為滿意的作品。當然最最最可愛且重要的是：留下關注、收藏、認知看完文章的你~

現在畫面靜態圖片有了，那么接下來該讓圖片動起來了吧......

三、AIGC 視覺動態生成階段

使用即夢進行圖生視頻，只需上傳圖片至視頻生成模塊，提示詞簡單描繪畫面中的動態內容即可。能生成時長為 3 秒鐘的畫面。

運鏡類型可根據劇本中的鏡頭描繪設置，主要設置以隨機運鏡為主。生成速度根據我們的視頻節奏，選擇了慢速。

生成效果：如下方這類由圖片+簡單提示詞生成出的 3 秒時長的短視頻。

四、AIGC 音樂生成階段

1. 音樂生成

AI 生成音樂的工具使用的是 Suno，它能夠根據用戶對音樂的具體描述，快速生成符合預期的音樂作品。這不僅能夠為我們的視頻增添獨特的音樂元素，也能進一步提升視頻作品的藝術性和觀賞性。本次制作共生成了 30 首歌曲，從中挑選出符合視頻節奏的背景音樂。

2. 人聲配音生成

本次人物對白比較簡單，經過對比我們選擇了即開即用的 ondoku 進行配音，輸入文字后就可以快速得到配音文件。

五、后期合成

后期合成主要使用了剪映，即夢 AI 生成的視頻時長是 3 秒鐘，并非整個 3 秒都能使用，根據劇本和畫面內容，需要做部分截取。合成的過程中，會發現畫面內容出現不協調情況，或者出現畫面內容缺少的情況，需要重新生成畫面視頻進行補充。不過大多數情況下，畫面原有的素材能夠應對剪輯工作。視頻音樂再合成時也可以進行畫面匹配后再聽聽音樂是否協調。

視頻軌道層分別是：臺詞層、效果層（關鍵幀、蒙版）、視頻畫面（AI 生成的視頻畫面加閉幕）、人聲臺詞、音效、背景音樂。

結語

隨著 AI 技術的不斷進步，AI 在視頻領域的應用將會更加廣泛和深入。盡管《絲路追風》還有很多的不足，但是創作和探索的過程本身就是一個樂趣。希望這次的拆解流程分享也能為大家打開一扇新的窗戶，能對 AI 生成視頻有大致的流程認識。期待在未來隨著技術的不斷革新，工具日益完善，我們的創作能夠不斷進步！