AI視頻資訊早讀!7個產品更新+8個案例精選

自 24 年 H2 開始,AI 視頻行業以周為單位高速發展,GenLumio 是我從 24 年開始 0-1 規劃-設計-開發的 AI 視頻項目,旨在為大家帶來每周最新鮮的 AI 視頻優秀作品、產品動向。

我計劃通過這個系列的文章選取新鮮產品動向、優質作品案例為大家介紹。

往期速讀:

一、AI 視頻模型 & 產品主要更新

Runway Gen-4

沉寂了大半年差點被大家忘記的 Runway 終于發布了新模型 Gen-4,看了很多國外博主測評在處理復雜動作和鏡頭超過了 Kling 1.6。除了電影鏡頭、寫實風格外,這次 Gen-4 也注重了動漫風格的支持,此外前陣子推出的首幀風格化也獲得了不錯的傳播效果。

Runway 首席執行官 Cristóbal Valenzuela 的作品體現了 Gen-4 在相機圍繞物體和位置連續移動的能力,配合著唯美音樂讓人感受到鏡頭敘事的魅力,這里放了 2 個案例,更多視頻可以訪問 GenLumio 篩選 Tools - Runway 查看。

當視頻在手機上無法加載,可前往PC查看。

當視頻在手機上無法加載,可前往PC查看。

Kling 2.0

就當我以為這倆月國產 AI 視頻要集體啞火時,Kling 發布了最新模型,功能上對 Pika labs 進行了全面致敬。

AI視頻資訊早讀!7個產品更新+8個案例精選

看官方聯動博主發布的效果非常好,2.0 非常擅長表現大幅度運動和鏡頭切換的畫面,但同時大幅度運動模糊、瑕疵多缺點也更容易暴露,這可能會帶來抽卡次數的提升。

2.0 目前的定價非常貴,58 塊錢的月費會員只能抽 6 次卡,還不如沖 Runway 的 Gen-4 試試,對大部分初級玩家太不友好。受限于價格,這次沒有獲得廣泛的創作者測試和傳播。

這里是創作者 Alex Patrascu 對 Gen-4、Kling2.0、Veo 2 的測試結果,這三個模型各有特色:

當視頻在手機上無法加載,可前往PC查看。

Vidu Q1

Vidu 剛發布了 Q 系列模型,默認支持 1080P,時長升至 5s,畫質細節提升,支持首尾幀、音效疊加、升級動漫風格效果,新用戶有 3 次免費使用機會。

Pika 玩法更新

Pika 這個月動作不斷,模型能力比不了只能靠花活來維持聲量了,只要不下牌桌就還有希望。首尾幀視頻從 10s 升級至 25s(業內唯一一個),即 Pikadditions 又接連推出 Pikaswaps、Pika Twists 功能,Pikaffects 也更新了不少模版,創作者們基于此開發了很多有趣的視頻。

此前在文章中介紹過首尾幀的玩法,通??梢杂糜谶B貫的鏡頭轉換,延時攝影、植物動物生長等,下方視頻中的換裝效果也很不錯。

Pika Twists 可以通過文本改變視頻中的一部分內容,并保持其余部分不變。

當視頻在手機上無法加載,可前往PC查看。

Pikaswaps 通過上傳原視頻和一張元素圖片的方式,替換掉視頻中的任意內容,可以用來換裝、換發色。

當視頻在手機上無法加載,可前往PC查看。

Pikadditions 通過上傳原視頻和一張元素圖片的方式,將元素添加到整個視頻中。

Luma

Luma 近期在 Ray2 模型上發力了 Motion、Angle 功能,增加的高速機械臂鏡頭、全景相機和空中無人機視角挺有意思。

當視頻在手機上無法加載,可前往PC查看。

案例來自 Christopher Fryant

當視頻在手機上無法加載,可前往PC查看。

高速機械臂鏡頭案例 by Rory Flynn

海外作者很多都使用 Luma 創作動漫風格,Luma 目前單個視頻 0.5 刀,對比物美價廉的國產替代還是很難下得去手。

介紹完了老牌產品更新,來看看新產品的動向吧,說實話 AI 視頻生成這么卷的賽道還有新產品出來著實想不到。

Higgsfield AI

Higgsfield AI 的聯合創始人兼 CEO Alex Mashrabov 曾是 Snap 的生成式 AI 負責人,領導開發了 Snapchat 的 AR 濾鏡、Cameos 功能以及 MyAI 聊天機器人等產品。他與聯合創始人 Yerzat Dulat(生成式視頻領域的 AI 研究員)共同創立了 Higgsfield AI。

該產品的特點是提供了超過 50 種預設鏡頭動作,如“子彈時間”、“超級推拉鏡頭”等,增強視頻的電影感,使用時支持混合多個鏡頭效果。訪問地址: https://higgsfield.ai/

AI視頻資訊早讀!7個產品更新+8個案例精選

Magicanimator

Lottielab 是一家初創公司,24 年底推出了 Web 編輯器支持設計師能夠輕松創建、編輯和導出 Lottie 動畫。近期他們加入了 AI 視頻的戰場,首發 demo 是一段以蘋果 UI 組件為靈感生成的流暢過渡動畫,同時支持 logo、icon、社交媒體帖子動畫生成?,F在該產品開放預約了,申請地址: https://magicanimator.com/

在其他 AI 視頻產品在卷專業電影創作、社交媒體玩梗方向時,聚焦設計這個垂直行業,也是個不錯的選擇。

當視頻在手機上無法加載,可前往PC查看。

二、最新優秀案例

創意轉繪

非常喜歡的一位創作者 enigmatic_e 又整了新活,不過這次的工作流和此前差不太多,使用了 Viggle、AnimateDiff 轉繪實現的效果,這里是他的詳細制作過程:

當視頻在手機上無法加載,可前往PC查看。

makeitrad 的這個 AI 轉繪項目非常厲害,整個作品工作流非常完整且富有創意。

視頻中的基礎角色由前期手繪完成,然后通過訓練風格 Lora 進行更多視頻素材的生成;街道中的建筑使用 AI 生圖,圖生 3D 模型并在 3D 軟件中搭建出來;而動態部分則通過人工繪制關鍵幀動畫,使用 ComfyUI 中的風格參考轉繪動畫。視頻中分享了完整的創作思路,看完只能說一句,太強了!

當視頻在手機上無法加載,可前往PC查看。

以上這兩個案例都是需要一些 3D 基礎才能完成的,那如果不會建模,也不太會使用 3D 軟件怎么辦?博主 Ray (movie arc) 的帖子給我提供了另一條思路,通過 MJ 生圖 - 3D 產品生成粗糙模型,裝配預設動作,最后通過 three.js 加載預覽。

當視頻在手機上無法加載,可前往PC查看。

創意廣告片

來自 Rufus Blackwell 團隊的真實商業廣告作品,融合了 AI 視頻生成和部分實拍,AI 為團隊節約了大量特效時間。

當視頻在手機上無法加載,可前往PC查看。

動漫風格

動漫風格的優秀作品越來越多了。上一期介紹過 Veo2 是我看到過最棒的 T2V 產品,現在也支持了 I2V,但目前還在測試期沒有對大眾開放。有消息說會在 5 月正式發布,每天看到海外創作者的測評都心癢癢。

最近 RōHKI團隊花費了數月制作的這個單集作品質量非常高,全集使用Runway、Luma 和Veo2制作,音樂也是精心制作過的。

當視頻在手機上無法加載,可前往PC查看。

視頻中多處使用了 Veo2 制作了高質量鏡頭,對人物的一致性和提示詞的遵循能力達到了完全不同的高度。

作者分享了一些 Veo2 提示詞例如:

“走到鏡頭前,用紅色記號筆涂鴉寫上‘ROHKI’,另外作者提到“cool quick sketchy VFX camera cuts” and “multiple abstract camera angles”也會出現驚喜效果

當視頻在手機上無法加載,可前往PC查看。

最近我使用 Google 的 Whisk 和 MJ V7 進行了生圖測試,就發現 Google 家的產品對提示詞的理解能力極強,即使是輸入超長文本也能在畫面上反饋所有提到的細節。這一點上 MJ 完全不是對手,我對 Veo2 的開放使用已經迫不及待了。

海外創作者使用 Luma Ray2 和 Vidu 在動漫創作上的案例不斷增加,其中 Vidu 的圖片參考功能被創作者們用來做角色參考和攻法(角色對應的技能)參考。

當視頻在手機上無法加載,可前往PC查看。

案例來自 ai_ani_alchemist

創作者 Bird / AI art and Music 用 Luma 生成的兩個片段,太帥了,第二個視頻應該是用了延長。

當視頻在手機上無法加載,可前往PC查看。

三、近期 AI 視頻產品調研結論

GenLumio 網站的新內容正在設計中,新功能是面向主流 AI 視頻產品的參數對比,近期我也開始了新一輪模型的集中測評,記錄下最近一段時間的結論:

Hailuo、Vidu 目前仍為用戶提供每日積分,如果有少量使用需求的同學可以選用。

我在 Hailuo 海外版本注冊了新賬號,獲得了 1000 積分(但是限制 3 天內用完)。整體感受 Hailuo 半年前的 I2V live 模型確實對于動漫風格微動畫支持不錯,但 Luma 和 Vidu 也是強有力的競爭者。另外 Hailuo 對于主體物和環境之間的交互、細節的一致性遵循的不太好,還沒有達到 Wan 2.1 給我留下的印象。目前 Hailuo 模型在整個市場上除了價格,并不具備優勢,只能等新模型發布了。

Vidu 是當下所有產品中生成速度最快的。另外 Vidu 對動漫、寫實風格的支持都非常穩定,是一款不怎么出錯的模型。單視頻價格在一種國產產品中也具備絕對優勢。

研究了 Pika2.0、2.2 和 Kling1.5、1.6 的生成積分消耗規則,發現舊模型消耗的積分比新模型更低,這和 Pixverse 是相反的,這可能和模型的升級、定價策略有關系。

收藏 7
點贊 41

復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。