大家好，這里是和你們一起探索 AI 的花生。

前幾天知名 AI 視頻處理平臺(tái) Runway 宣布開放測試旗下的 GEN-2，一款可以直接根據(jù)文本生成視頻的工具，我們先看看官方放出的 2 個(gè)演示：

視頻來源：推特@runwayml https://twitter.com/i/status/1664256235665866752

視頻來源：Gen-2 Now Available | Runway - YouTube

了解 Runway：

看到視頻時(shí)真的被小小的震撼了一下，因?yàn)楫嬅娴姆€(wěn)定度和流暢度都超乎想象。雖然目前用 AI 生成視頻的方法并不少，比如之前為大家介紹的 D-ID，是通過圖像來生成數(shù)字人視頻；還有利用 Stable Diffusion WebUI 配合各種插件工具實(shí)現(xiàn)的“大叔變少女”或視頻風(fēng)格化。但是這些方法都需要圖像或者視頻作為參考樣本才能生成新的視頻，目前可以直接根據(jù)文本生成視頻且質(zhì)量如此之高的應(yīng)該也只有 GEN-2 了 。

在 SD 中利用 Controlnet 配合 TemporalKit 及 Ebsynth 生成的無痕換臉視頻，來源： https://twitter.com/yokohara_h/status/1657191627452981248

開放測試的 GEN-2 可以免費(fèi)試用，也就是說我們每個(gè)人都可以體驗(yàn)這種通過文本生成視頻的神奇操作，下面就為大家介紹一下 GEN-2 的使用方法。

一、Gen-2 文本生成視頻

Runway 官網(wǎng)： https://app.runwayml.com

首先點(diǎn)擊上方鏈接進(jìn)入 Runway 官網(wǎng)，先注冊一個(gè)自己的賬號(hào)然后登錄，試了一下支持 QQ 郵箱。然后進(jìn)入 Runway 主頁，選擇左側(cè) 「Generat Videos」里的 Gen-2。

Gen-2 操作界面如下，我們直接在文本框內(nèi)輸出英文提示描述想要的場景，然后點(diǎn)擊右側(cè)的「Generate」生成視頻。如果不確定想要什么內(nèi)容，可以選擇下面官方提供的參考，點(diǎn)擊「Try This」可以直接將畫面的關(guān)鍵詞填充到我們的文本框內(nèi)。

下面是我用文本生成的一段視頻，提示詞為“A cyberpunk style cityscape, Towering skyscrapers, Brilliant neon lights, Blade Runner, Sci-fi movie, High quality, 16K, Ultra HD（一個(gè)賽博朋克風(fēng)格的城市景觀，高聳的摩天大樓，輝煌的霓虹燈，銀翼殺手，科幻電影，高品質(zhì)，16K，超高清）”。

試用時(shí)只能生成 4 秒的視頻，生成時(shí)間沒有超過 1 分鐘，速度還是非常快的。畫面很好地表現(xiàn)了我想要的賽博朋克效果，動(dòng)畫穩(wěn)定流暢，而且清晰度比我預(yù)期的還要高，只寫一段簡單的話就能生成這樣一段視頻真的太令人驚喜了。

每個(gè)新用戶都有 105 秒的免費(fèi)生成額度，雖然一次性只能生成 4 秒的視頻，但是你可以設(shè)置一個(gè)腳本，分段生成里面的不同內(nèi)容，然后拼在一起合成長視頻。下面是我在上面視頻的基礎(chǔ)上，又附加了 3 個(gè)短視頻合成的，描述了一段在賽博朋克城市里發(fā)生的故事，配上音樂是不是還挺像模像樣的？過程真的超級(jí)簡單，強(qiáng)烈建議大家都去嘗試一下。

除了根據(jù)文本生成視頻的 Gen-2，Runway 還有 2 個(gè)非常值得嘗試的 AI 視頻生成工具 「Gen-1」 和 「Frame Interpolation」，這里也順帶給大家介紹一下。

二、Gen-1 生成風(fēng)格化視頻

Gen-1 是一個(gè)視頻轉(zhuǎn)視頻工具，只要你有免費(fèi)試用額度，就可以嘗試用它將一個(gè)視頻轉(zhuǎn)換為另一種的風(fēng)格，下圖是它的操作界面：

在 Gen-1 中可以通 3 種方式對視頻進(jìn)行風(fēng)格化。一是提取圖像風(fēng)格應(yīng)用到視頻中，下面是提取一張賽博朋克圖像的風(fēng)格，對一段白模建筑視頻進(jìn)行轉(zhuǎn)換后的效果。使用時(shí)可以通過「Style Strength」調(diào)節(jié)風(fēng)格的強(qiáng)度，數(shù)值越高，賽博朋克風(fēng)格就越強(qiáng)烈。

二是直接使用官方的預(yù)設(shè)風(fēng)格，有黏土、云景、金屬、黑白線稿、太空、漸變、科幻等 20 多種風(fēng)格可以選擇。下面是將一個(gè)真人視頻轉(zhuǎn)換為太空風(fēng)格的效果，正式生成前可以點(diǎn)擊「Preview styles」預(yù)覽效果，如果覺得不好就換一種風(fēng)格或者調(diào)整風(fēng)格強(qiáng)度參數(shù)。

三是可以直接通過文本描述修改視頻的風(fēng)格，比如將一個(gè)實(shí)拍的自然風(fēng)景改成動(dòng)漫風(fēng)：

三、Frame Interpolation 幀插值

Frame Interpolation 是一個(gè)圖像平滑工具，上傳數(shù)張圖像，系統(tǒng)會(huì)自動(dòng)在相鄰圖像間生成平滑的過渡，從而將圖像轉(zhuǎn)換為一段流暢的視頻。這個(gè)工具是免費(fèi)使用的，不消耗試用分鐘數(shù)。

一般上傳 3-8 張圖像就足夠了，圖越多生成時(shí)間越長。上傳成功后，在右側(cè)點(diǎn)“Clip Duration”設(shè)置視頻時(shí)長，點(diǎn)擊“Advanced”里的“Transition Time”調(diào)整圖像過渡的緩急，然后點(diǎn)擊“Generate”等待視頻完成就可以了。

在體驗(yàn)過 Runway 的這些 AI 視頻工具后，自己非常真切地感受到了 AI 技術(shù)對我們工作方式的改變。或許現(xiàn)在用文本生成的視頻在時(shí)長、清晰度、準(zhǔn)確性等方面還有不足，但 AI 繪畫從不會(huì)畫臉到能以假亂真只用了幾個(gè)月的時(shí)間，我們完全可以相信 AI 視頻技術(shù)在未來肯定會(huì)更加發(fā)達(dá)。那時(shí)將給藝術(shù)家、動(dòng)畫和電影愛好者、視頻內(nèi)容創(chuàng)作者帶來一種全新的創(chuàng)作方式，甚至?xí)淖円曨l及影視制作行業(yè)。

如果喜歡本期推薦的話記得點(diǎn)贊收藏支持一波，想了解更多實(shí)用的 AI 神器，歡迎大家訪問 「優(yōu)設(shè) AI 導(dǎo)航」，200+ 優(yōu)質(zhì) AI 工具等你探索~

有關(guān)于本文或者設(shè)計(jì)的問題可以在評(píng)論區(qū)提出 ，我會(huì)第一時(shí)間回復(fù)。也歡迎大家掃描下方的二維碼加入“優(yōu)設(shè) AI 繪畫交流群”，和我及其他設(shè)計(jì)師一起交流學(xué)習(xí) AI 知識(shí)~

推薦閱讀：