推薦閱讀

2024 年是多模態人工智能 AI 技術爆發飛躍的一年，尤其是 AI 視頻迎來了快速發展的階段，以及隨著今年年初 Open AI 突然發布的首個文生視頻大模型——Sora，AI視頻在極短時間內受到了公眾的廣泛關注，AI視頻為廣大創作者和相關從業人員，在創意表達和內容創作領域上開辟了新的可能性，也預示著AI視頻未來將持續融入更先進的技術，推動該領域發展至新高度。

盡管目前 AI 視頻技術仍處于成長階段，但我們已經關注到，國內外眾多品牌和媒體已經開始積極探索 AI 視頻的商業潛力，并且成功落地了一些商業項目。我們預計 AI 視頻將為團隊增添新的商業機會，所以自 23 年下半年起，我們便開始著手研究 AI 視頻技術。隨著今年年初 Sora 的推出，我們更加確信 AI 視頻技術是未來發展的趨勢。因此，我們認為有必要提前掌握 AI 視頻的工作流程，來更好的迎接 AI 視頻的到來。

為此，我們在 4 月初正式啟動了 AI 視頻制作計劃，旨在全面梳理和實踐 AI 視頻的制作流程，積累相關經驗，利用現有 AI 技術先儲備 AI 視頻的相關經驗，并制作出一部原創 AI 視頻。本次視頻是以夏天即將到來的"2024 年法國巴黎奧運會"為創作主題，我們在團隊內部組建了兩個視頻小組，要求每個小組各制作一支 1 分鐘左右的 AI 視頻短片。先給大家看下兩部視頻的最終成片效果，隨后會給大家介紹一下整個 AI 視頻的制作流程，與大家分享我們的經驗和心得。

原創視頻《巴黎奧運新視界》

原創視頻《圓夢奧運》

一、重點步驟詳解

為了提升制作效率，我們對 AI 視頻短片的創作流程進行了細致的梳理。經過我們內部反復測試以及結合 AI 現有的技術能力。我們認為，利用圖片生視頻的創作流程是目前可控性最高、效率最高，也是最切實可行的方法。因此，我們走通 AI 視頻整個流程可以劃分為六個關鍵環節：撰寫劇本、分鏡腳本、AI 生成圖片、圖片生成視頻、后期剪輯制作以及音效處理，這也是一個非常小型的影視工作的制作流程。

1. 寫腳本

首先就是圍繞法國巴黎奧運會為主題寫一個劇本大綱，這是我們第一次嘗試自己編寫劇本，盡管缺乏經驗，但這個過程充滿了樂趣和挑戰。我們的第一支視頻《巴黎奧運新視界》以呈現浪漫巴黎和奧運選手的激烈角逐，共同描繪巴黎的城市魅力與奧運的熱烈氛圍。第二支視頻《圓夢奧運》則以國寶大熊貓為主角，同世界各地的動物們一起參賽，在奧運會上各展所長迎接盛事。

劇本是整個視頻制作環節的靈魂，確立了劇本，我們就能夠圍繞其核心思想，有序推進后續的創作工作。如果大家對于寫腳本沒有太大的概念，也可以通過觀看優秀的電影或短片，吸收靈感，積累經驗，從而提升自己的創作能力。

2. 分鏡腳本

劇本大綱確立后，接下來就是圍繞劇本大綱做視頻的分鏡腳本制作，這一階段要求我們對腳本進行深入的解析和細化，明確每一個鏡頭的具體畫面內容、拍攝視角以及鏡頭運用技巧等。為了提升專業性，我們建議大家可以儲備一定的視頻拍攝術語、畫面與鏡頭感、分鏡等相關技能。

分鏡腳本的核心在于用文字精確描述視頻中的關鍵視覺元素，包括人物、動作、場景等。在拍攝視角和鏡頭運用技巧上，我們可以通過記憶口訣“遠全中近特，推拉搖移跟”來把握景別和鏡頭運動方式。將抽象的文字描述轉化為具體的視覺圖像，從而更準確地掌控畫面效果。在完成分鏡腳本初稿后，建議大家多做幾次審閱，確保腳本的邏輯連貫性，以及畫面轉場的流暢性。

3. AI 生圖

依據分鏡腳本的內容，接下來我們就可以利用 AI 生成所需要的圖片。在圖片生成工具選擇上，我們依然還是使用 Midjourney（以下簡稱 MJ）。在開始前，我們首先需要明確視頻的視覺風格、色調、畫面構圖、光影效果、景別以及畫幅比例等關鍵要素，確認這些后，我們就可以根據分鏡腳本中的描述，提煉出關鍵詞，通過 AI 生成想要的圖片。

當然 AI 生成的圖像并不總是完全符合預期，我們在生成圖片過程中也出現了不少問題，并且有些問題是 AI 多次生成都難以避免的。那么針對這一點，我們可以通過 PS 或者借助其他修圖軟件來靈活處理，以下是我們針對 AI 圖片生成中常見問題的三種處理方法：

① 做加法

當 AI 無法精準地在圖片添加所需的物體或元素時，我們可以利用 PS 的后期處理能力，手動添加這些缺失的元素。比如，在生成熊貓坐在看臺上看比賽的圖片中，AI 生成不出彩屑元素，但為了增強比賽的熱烈氛圍，我們可以后期手動添加一些彩屑效果。

② 做減法

當 AI 生成的圖片中出現多余物體或元素時，我們可以利用 PS 的后期處理能力，手動去除不必要的元素。比如，這張小狗打乒乓球的圖片為例，可以看到圖片上有多個乒乓球，我們選擇想保留的一個，去除掉多余球即可。

③ 做乘法

當 AI 無法精準地生成特定物體或元素時，我們可以利用后期替換上對應元素。比如，兩只小貓踢足球的圖片，可以發現 AI 生成的足球和常規足球不相符，我們就找了足球照片進行替換。

以及下圖我們想生成的是中國乒乓球運動員，但中國國旗生成不出來，所以最終我們還是采用國旗圖片來替代 AI 生成的圖片，優先確保國旗以正確無誤的形態呈現，我們在追求創意與技術融合的同時，也要保證對標準和細節的尊重。

通過以上這些方法，我們就能避免在 AI 生圖過程中，因為某張圖片有局部問題，導致反復生成，浪費太多時間，我們希望能用最少的時間，最小的成本，達到我們預期想要的效果。

4. 圖生視頻

接下來就是本次的核心環節：將圖片轉換成為視頻。文生視頻時，AI 對文本的理解可能與用戶預期不符，導致生成的視頻內容偏離我們預期，在穩定性和質量一致性方面存在較大挑戰。而圖生視頻則在視覺一致性和生成質量穩定性方面表現較好，技術也比較穩定。我們之所以采用先 AI 生成圖片，再用圖片生成視頻的策略，核心目的是為了提高工作效率，并盡可能降低制作過程中的各種不確定性因素。具體操作上，先利用 MJ 生成靜態畫面，確認這些畫面達到理想效果后，再通過圖片轉視頻的 AI 技術完成視頻的生成；所以想直接尋求一步到位的解決方案目前是不現實的。所以通過目前這種分步驟的方法來逐步接近想要的效果，確保畫面的可控性及高質量的輸出。

在圖片生視頻的 AI 工具選擇上，我們經過細致考量，最終選用了 3 款工具：Runway、Dreamina 和 Pixverse，這 3 款工具各有特色，相比較而言 Runway 無論是在畫面穩定性、細節表現力、運鏡等方面都表現得比較好，更能滿足細節鏡頭、特定鏡頭運動的精準控制需求。Dreamina 擅長生成大幅度的運動效果，以及還可以通過上傳首尾幀圖片，讓 AI 智能補全中間的運動軌跡。Pixverse 則支持免費生成 4K 視頻，尤其適合用在大全景、空鏡等不需要精準控制的場景上，可以達到自然微動的動態效果。具體實際應用中，大家可以根據自己生成的效果靈活選用 AI 工具。在圖片生視頻的生成方式上，我們主要采用了兩種方式：

① 通過上傳一張圖片直接生成視頻

如下面的示例所示，通過上傳一張圖片就能直接生成視頻，這種方法因其操作簡便、效率高效，是我們最常采用的生成視頻的方式。這里主要使用的工具是 Runway 和 Pixverse。

② 通過上傳首幀圖片和尾幀圖片生成視頻

通過控制首尾幀圖片，讓 AI 工具來智能補全中間的運動軌跡，從而生成一段流暢的視頻。這里使用的 AI 視頻工具是 Dreamina，比如下圖當我們希望展示巴黎鐵塔從白天到傍晚的轉變時，就可以利用 Dreamina 來生成想要的視頻效果，實現從白天到黃昏的自然過渡。

5. 剪輯制作

在視頻生成階段完成后，我們就進入了剪輯制作環節，把生成的視頻素材按照分鏡腳本內容通過 AE 軟件進行剪輯制作，當然，想更輕量化完成剪輯環節也可以使用剪映，這個環節也是整個制作流程中人工參與度最多的部分，盡管每個視頻的原始時長大約在 3 到 4 秒之間，但實際能夠完全使用的片段僅占到總視頻的 24%。由此可見，AI 生成的視頻并非整段都能直接使用，有時由于生成中的某些問題，我們只能從中提取 1 到 2 秒的可用內容，如果單個視頻的時長不足以滿足剪輯需求，我們可以通過生成具有相似畫面或延長畫面的額外視頻來補充，不過大多數情況下，現有的視頻素材能夠應對剪輯工作。

6. 音效

由于時間緊迫，本次視頻我們使用了現成的音樂素材，沒能實現 AI 生成音樂素材創作。盡管如此，我們依然推薦在時間充裕的情況下大家探索下 AI 音樂素材生成。這里也給大家推薦一款好用的 AI 生成音樂工具 Suno，它能夠根據用戶對音樂的具體描述，快速生成符合預期的音樂作品。這不僅能夠為我們的視頻增添獨特的音樂元素，也能進一步提升視頻作品的藝術性和觀賞性。

① 制作成本

目前，盡管 AI 技術取得了顯著進步，但在視頻制作領域 AI 的獨立運作能力仍有限，還需要人工的大量參與和協作。這兩個視頻是我們團隊利用工作的碎片時間制作完成的成果，從最初寫腳本到剪輯制作六個環節到最終成片，每個視頻平均花費了 60 多個小時。在創作過程中，我們通過 MJ 共生成了 7600 多張圖片，并經過嚴格篩選，最終選用了 97 張圖片，這些圖片生成了 450 多個視頻，再經過進一步的篩選，我們最終選用了 86 個視頻用于最終的視頻呈現。雖然整個制作過程比預期的要長，但考慮到這是我們的首次嘗試，團隊需要時間來磨合和適應。

盡管 AI 視頻在生成方面取得了顯著進步，但在處理復雜動作和達到完美效果方面，仍有很大的提升空間，再加上當下 AI 生成的視頻時長僅有 4 秒鐘，AI 視頻目前還無法完全滿足我們的更多的訴求和期望，雖然這次的視頻制作還未完全達到我們心目中的理想效果，還有很多優化空間。但我們仍然堅信，AI 視頻無論是在技術突破上，還是應用拓展和其他技術的融合等方面在未來都會有很大的發展前景，在更先進的 AI 視頻新技術到來之前，提前掌握 AI 視頻的工作流程是十分有必要的。

作為我們團隊制作的首個 AI 視頻，通過這次實踐，我們已經走通并掌握了整個 AI 視頻的制作流程，并積累了寶貴的經驗，提前儲備了 AI 視頻的制作能力，能為之后 AI 視頻實踐奠定基礎。我們堅信，隨著 AI 視頻技術的不斷進步和我們團隊經驗的持續積累，我們能夠制作出更高質量的 AI 視頻，滿足更廣泛的商業需求，推動團隊業務的持續發展。