大家好，這里是和你們一起探索 AI 的花生。

自 OpenAI 發布 Sora，將文生視頻拉高到一個新的高度后，各家 AI 視頻工具都在努力升級模型、添加新功能，以期在這場競賽中保住自己的一席之地，比如 Pika 已經推出了風格選擇、視頻配音、唇形一致等多種功能，Vidu、Kling 則是類 Sora 的新模型，在生成效果上已經十分接近 Sora。而曾經的領軍產品 Runway 卻始終都沒有什么動靜，因此很多人都在擔心它未來的發展。

最近 Runway 終于放出大招，發布了第三代模型 Gen-3 Alpha，它各方面的表現都與 Sora 極為接近，甚至可以說是不分上下。如果說前兩天上線的 Dream Machine 秒殺 Runway Gen-2，那么這個新模型則足以反過來秒殺 Dream Machine，讓人不得不感嘆 AI 模型競爭之激烈。今天就帶我們詳細了解一下 Gen-3 Alpha 的功能與特點。

Runway 上一代模型 Gen-2:

一、Gen-3 Alpha 簡介

Runway 官網： https://app.runwayml.com/ （Gen-3 將在未來幾天開放）

不同于之前的 Gen-1 和 Gen-2 模型，此次的 Gen-3 Alpha 是一個全新的視頻生成基礎模型。它在視頻和圖像數據上進行了聯合訓練，不僅具備文本生成視頻能力，同時也可以實現文本到圖像和圖像到視頻，這一點和 Sora 是一樣的。

與 Gen-2 相比，Gen-3 Alpha 在保真度、一致性和運動方面有了重大改進。雖然目前只能生成最長 10s 的視頻，但是在視頻清晰度、細節豐富度、動態流暢度、對提示詞的理解和鏡頭運動等方面已經完全到達了 Sora 的級別，光憑肉眼已經很難區分其與現實的區別。

Runway Gen-3 Alpha 與 Gen-2、DreamMachine 效果對比

尤其是在人物生成上，不僅角色形象、動態非常自然，還可以精準呈現手部動作和面部表情的變化。角色形象的一致性也很穩定，即使有大幅度的動作，臉部和身體也不會扭曲變形，這是目前大部分模型都無法做到的。有了這個基礎，我們就能通過人物實現更細膩準確的內容傳達，這對提升 AI 視頻質量非常重要。

Prompt: A middle-aged sad bald man becomes happy as a wig of curly hair and sunglasses fall suddenly on his head.

提示詞：一個中年悲傷的禿頂男人突然戴上了一頂卷曲假發和太陽鏡，變得快樂起來。

Prompt: A man standing in front of a burning building giving the 'thumbs up' sign.

提示詞：一個男人站在燃燒的大樓前做出“豎起大拇指”的手勢。

而且 Gen-3 Alpha 也和 Sora 一樣，能在一定程度上理解物理世界的運行規律并進行模仿。比如火車行駛過程中，人物面部光影會隨窗外的場景發生變化；生成繪畫場景的時候，畫筆會在紙面留下痕跡等。這也能證明 Runway 的新模型具備與 OpenAI Sora 同等的能力。

Prompt: Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city.

提示詞：一個女人在日本城市高速行駛的火車窗戶上的微妙倒影。

二、藝術內容生成能力

除了模仿現實內容，Gen-3 Alph 還有生成風格化視頻和奇幻內容的能力。

僅目前已經展示出的風格就有水彩、動漫，賽博朋克、電子故障等，質量都非常不錯；而 “棉花糖巨人在咆哮”、“混泥土地面長出植物”、“玻璃碎片旋風席卷小巷” 這些原本需要特效才能制作的畫面，現在僅憑文本就能生成。對視頻創作者來說，這樣既能擴大創作范圍，也是提升效率、降低成本的有效方式。

Prompt: A Japanese animated film of a young woman standing on a ship and looking back at camera.

提示詞：一個日本動畫電影中，一位年輕女子站在船上，回頭看向鏡頭。

Prompt: An empty warehouse where flowers start blooming from the concrete.
提示：一個空蕩蕩的倉庫，鮮花開始從混凝土中綻放。

三、英文文本動態呈現

英文文本動態呈現應該是 Gen-3 Alpha 最令人驚喜和期待的一點了。雖然官網上沒有相關的展示，但 Runway 聯合創始人 Cristóbal Valenzuela 在推特上一口氣放出了十幾條相關示例，每一個示例的場景、字體、材質、動態效果都不一樣，顯示出高度的靈活性和可控性，質量之高直接拿來做視頻片頭都沒有問題。不過目前還不確定這種效果是文本直接生成的，還是通過圖像生成的。

四、精準控制與高級編輯功能

據官方介紹，Gen-3 Alpha 通過訓練學習了大量具有時間序列信息的描述性字幕，因此在處理用戶提示詞的時候，能夠實現場景中元素的想象性過渡和精確的關鍵幀設定。

比如它可以從海面絲滑過渡到一個火焰場景，前面的 “混凝土長出植物” 可能也是通過這種能力實現的；而上面動態文本的效果，我覺得可能是上傳了一張包含文本的圖像做為關鍵幀，然后借助 Gen-3 Alpha 強大的過渡能力來向前生成動態，而非直接用文本生成。

Prompt: Aerial shot of the ocean.a maelstrom forms in the water swirling around until itreveals the fiery depths below.

提示：海洋的航拍。一個漩渦在水中形成，旋轉著，直到它露出下面熾熱的深處,

Runway 已有的視頻控制功能，包括運動畫筆 (Motion Brush)、鏡頭運動控制（CameraControls）等在 Gen-3 Alpha 模型中依舊可以使用，而且還會有一些新的功能推出，幫助用戶對結構、風格和運動進行更精細控制。此外 官方還表示可以為影視公司創建 Gen-3 的定制版本，指定角色形象和視頻的風格等內容，以滿足特定的藝術和敘事需求。

Gen-3 Alpha 將在未來幾天內對所有人開放，這代表與 Sora 同級別的 AI 視頻生成工具馬上就能被普通用戶使用了，而 AI 視頻創作也將進入一個新的階段。最后再推薦大家看一下這個 Runway CEO 發布的預告視頻，全部素材都是 Gen-3 Alpha 直接生成的，效果非常震撼，而我們離實現這種效果也非常近了。

那么以上就是本期為大家推薦最新 AI 視頻生成模型 Gen-3 Alpha 的相關內容。想了解更多 AI 新鮮資訊的話，歡迎關注 「優設 AI 自學網」 和「優設微信視頻號」，每天都會分享最新的 AIGC 資訊和神器，讓你輕松掌握 AI 發展動態。也歡迎大家掃描下方的二維碼加入“優設 AI 知識交流群”，和我及其他設計師一起交流學習 AI 知識~

另外我的最新課程《AI 視頻零基礎系統入門》已經上線了，對 AI 視頻感興趣的小伙伴不要錯過。課程內容包括：

從文生視頻、圖生視頻、視頻生成視頻、數字人視頻 4 個方面，系統全面地帶你了解目前主流的 AI 視頻制作方式以及優缺點；

1. 十余種熱門 AI 視頻生成神器用法詳解，輕松掌握大神同款工具；
2. 附贈課程專屬工具清單，收錄了近 300 款 AI 視頻、音頻、文案神器，全面賦能 AI 視頻創作
3. 高質量免費自學資源、最新 AI 視頻資訊獲取渠道全分享

參考資料：

1. https://x.com/c_valenzuelab/status/1803063105150128264
2. https://runwayml.com/blog/introducing-gen-3-alpha/
3. https://x.com/i/status/1802791184286282058
4. https://x.com/ProperPrompter/status/1802718077878153519

推薦閱讀：