備注：這篇文章寫于 Veo3 發布前夕

自 24 年 H2 開始，AI 視頻行業以周為單位高速發展，GenLumio 是我從 24 年開始 0-1 規劃 - 設計 - 開發的 AI 視頻項目，旨在為大家帶來每周最新鮮的 AI 視頻優秀作品、產品動向。

我計劃通過這個系列的文章選取新鮮產品動向、優質作品案例為大家介紹。

上期資訊合集：

一、AI 視頻模型 & 產品主要更新

Runway

Runway 發布了 Gen-4 文本轉圖像及圖片 References 功能，測試案例達到了令人吃驚的地步 —— 可以通過添加結構參考圖，將主體物可以置于參考場景中，同時可通過Prompt控制新的攝像機角度、構圖、角色造型等細節。混合后的新圖片中，有非常適宜的燈光、陰影和構圖效果，甚至能識別簡單的構圖標注進行圖像生成。同時也支持對圖片風格進行參考。

該功能可以用于主體物多角度一致性、綠幕圖生成、甚至 3D 模型在不同場景的渲染，以下是一些案例：

該能力可以快速實現 3D 白模在不同場景的渲染

這里值得一提的是 Runway 參考圖片引用的交互方式，就像@某個人那樣，你可以通過@來引用需要參考的圖像，來替代在歷史圖片庫中查找。

Veo2 可以免費體驗了

Veo2 的體驗入口終于被我找到了，Google 的產品入口比較分散，交互體驗也很一般，但這不影響我對 Veo2 模型能力的贊美之情。Veo2 支持生成 8s 視頻，并且可以上傳圖片體驗 I2V，測了幾條感覺 T2V 的效果是真不錯，I2V 的部分案例非常驚艷，提示詞遵循能力做的很好，絕對是當下第一梯隊的模型能力。例如這個籃球進入籃筐的鏡頭，我測試過世面上大部分模型只有 Veo2 干凈利落的成功了。

現在每日可以免費生成幾個無水印視頻，日常需求已足夠：https://aistudio.google.com/generate-video

Pixverse

剛剛更新了 4.5 模型，更新了 20+ 攝像機控制功能、多元素參考和融合，并且模型價格相比 4.0 降低了一些，但比起其他產品還是偏貴的，效果也不在第一梯隊，就不過多介紹了。

HeyGen

HeyGen 近期進行了產品大幅更新。真實人物、寵物、插畫都可以生成對口型視頻，除了對口型的準確度提高，另外還支持了多角度對口型：側面、仰視視角都可以生成。嘴巴以外，人物的面部肌肉有自然的運動，看了一些案例，通常人物的手部、整體畫面也有輕微運動，但如果這樣的運動可以更多，再配合一些鏡頭移動效果，視頻的真實感會得到極大提升。

使用 HeyGen 制作音樂 MV

其中語音鏡像功能很有趣，AI 可以模仿你輸入的真實音調、語調和節奏，并且匹配對應口型，這個功能極大提高了視頻制作的可控性。

HeyGen 語音鏡像

另外推薦一則 HeyGen 制作的創意短片。

visiblemakers 使用 HeyGen 制作的短片

新產品

① Pippit 字節電商營銷新產品

繼去年寫過 HeyGen、Opus Clip 之后，在 AI 視頻進展中還沒有提過電商營銷新產品，近期 Capcut 背后的新產品 Pippit 在 Product Hunt 登頂，提供的能力非常豐富。

我輸入了 GenLumio 的網頁鏈接，消耗 120 積分讓 Pippit 幫我的網站制作視頻，Pippit 一次性生成了 10 條視頻，看上去每條視頻的數字人語氣都真的像那么回事的。只是在爬取了網頁信息后，AI 撰寫的文本對 GenLumio 的功能進行了夸大，產品介紹文本基本沒法用，需要后期人工調整。

同時，該領域還有 Creatify、Captions 值得關注。

② Medeo

一款 AI 視頻剪輯的 Agent 產品，支持輸入 URL、文章、文件內容進行視頻生成。

我先是輸入了此前 AI Coding 的文章和 GenLumio 網站進行測試。和 Pippit 不同，Medeo 并沒有使用文章或者網頁中的相關資源，而是通過對內容進行一定總結后生成了一段總結性文本，并且根據內容生成了圖片，再進行圖生視頻。生成的效果有點像科普風（也可能和我的內容有關），如果想要建立有特色的個人賬號，可能還是要花一些功夫，但是對一些新聞科普、小說故事劇情講解視頻來說，這種快速低成本制作出來的視頻已經夠用了。

下面的視頻分別是讓 Medeo 生成間諜過家家動漫介紹短片；對 AI Coding 文章進行總結，在短視頻平臺介紹我的 AI Coding 經驗：

交互上 Medeo 提交 Prompt 后會直接消耗大額積分進行視頻生成，生成視頻中的文本也和輸入 Prompt 的語言匹配，這點前置感知也非常不強烈。Medeo 缺乏了 Gemini、Lovart 等產品分布完成或主動確認任務的可控感。如果在執行幾十秒視頻生成的復雜任務前，事先進行任務理解、偏好詢問，并對生圖、文案進行分步確認，會讓結果更具備可控性。

Gemini 和 Lovart 的確認過程

感興趣的朋友可以試用，每個賬號可免費生成一次： https://ai.medeo.app

③ Ponder

一個即將發布的 AI 視頻編輯器，可以通過 Prompt 命令對原始拍攝素材進行 AI 剪輯

這里加入 waitlist： https://ponder.ai/

二、最新優秀案例

動漫短片

傳統動畫師使用 Runway 做了非常優秀的動畫劇集《Mars and Siv. 》，現推出了第一集。整體風格創作模仿了小時候的動畫片，分鏡、角色設計和場景建模均由傳統流程中的人工完成，通過 Runway 對渲染圖進行連貫動畫生成，然后刻意抽取中間幀，做成了定格效果。

文章中講述了詳細創作過程： https://runwayml.com/customers/the-making-of-mars-and-siv

視頻中很多畫面采取了分角色生成+綠幕合成的制作：

再次被 yachimat 的作品驚艷到，不論畫面美感、配音、BGM、動畫效果都是日漫風格創作者中的絕佳了。

敘事短片

來自 Runway CEO Cristóbal Valenzuela 發表的作品，講述了一只貓在城市中的生活，短片中動物肢體運動協調真實，鏡頭跟隨貓咪進入不同場景，鏡頭切換非常自然。

廣告片兩則

來自汗青團隊的新作（創意真的沒有瓶頸），這是一條 Lovart 的廣告片，講述 AI 是如何做夢露的 IP 商業化設計的，視頻故事從一次安迪沃霍爾的設計師面試開始說起。

Snoop Dogg 的作品。由 Dave Meyers 執導。攜手 30 多位藝術家，將傳統藝術（3D、繪畫等）與 AI 結合，畫面有一些拼貼藝術效果。

4 個視頻制作經驗分享

來自 Freepik 官方的視頻，這套面部表情的提示效果非常好

來自 Ray (movie arc)分享的案例：Gen-4 提示詞技巧：“視圖突然被四等分，同一鏡頭的不同未來發生在四個四分之一中”（二等分和“細分為 X”也有效）

來自 madpencil_分享的案例：上傳一張黑色空白圖片，然后在上面提示任何內容，這個技巧幾乎適用于所有平臺，尤其是在像 Gen 4 這樣的模型上：低角度拍攝，攝像機跟蹤一滴清澈的水擺動并彈跳下來/漂浮/（地點設置），水滴濺到攝像機鏡頭上，形成了文字“XYZ”。

來自 Cristobal Valenzuela 分享的案例：如果你希望在 Gen-4 中實現有趣的攝像機運動，一個很好的建議是使用如下提示結構：“允許攝像機在整個場景中完全自由地移動，采用動態技術，例如俯沖空中運動、戲劇性的俯沖過渡、快速鞭打搖攝和平滑跟蹤”。

三、近期 AI 視頻產品調研結論

記錄下近期 AI 視頻產品的觀察結論：

1. Runway、Luma 等產品這幾個月一直在發力生圖模型能力，AI Wrapper 忙著把所有模型能力集成在一起。在 AI 生圖、視頻方向上，也許存在定義下一代交互方式的機會，沒有創業者會不為此心動
2. 主體物參考（畫面內容一致性、風格遷移）、首尾幀是視頻創作的剛需，前者除了 Veo 和 Sora，其他主流產品幾乎全部支持，后者 Hailuo AI 還沒有補齊
3. 調研了一圈 AI 視頻模型每秒生成成本，Veo（$0.3/s）以微弱差異高于 Runway Gen4（$0.29/s）成為最貴模型，但 Veo 的效果真的讓人沒話說，Google 在 AI 模型領域的長期發展還是可期待的。

綜合價格和生成效果來看，Vidu Q1（$0.06/s）依然是動漫領域性價比較高的選擇，和同價格檔位其他產品相比 Q1 可以直出 1080P 畫質，近期還推出了升級 2K、4K 能力，生成速度很快，繼續推薦。

Kling 1.6 720P（$0.04/s）確實是最便宜的模型，偏好真實系方向的朋友可選擇。