自 24 年 H2 開始,AI 視頻行業以周為單位高速發展,GenLumio 是我從 24 年開始 0-1 規劃 - 設計 - 開發的 AI 視頻項目,旨在為大家帶來每周最新鮮的 AI 視頻優秀作品、產品動向。
我計劃通過這個系列的文章選取新鮮產品動向、優質作品案例為大家介紹。
網站1期功能介紹
- 多維度分類:目前網站已整理出 20 種類別,包括 動漫、敘事短篇、增加元素、風格參考、主體物替換、首尾幀、對口型等,涵蓋 AI 視頻技術的主要應用場景。
- 涵蓋多達 24 種主流 AI 視頻生成產品及模型:從閉源的 Runway、Kling、Hailuo、Luma、Pika、Pixverse...到開源模型 Wan 2.1、CogVideoX、Live portrait、Animatediff 均有涵蓋
- 動態更新:每周持續收錄高質量作品,保持內容的前沿性。
品牌命名 & 設計理念
Gen 代表 Generative(生成式),是當前 AI 領域的核心概念之一。
Lumio 源自 Luminary(發光體)
整體寓意“生成靈感之光”,希望這一平臺能夠為 AI 視頻創作者提供展示的平臺,也方便大家了解最新的 AI 視頻產品進展。
1. Pika
近幾個月 Pika 動作頗多,在發布了主體物參考、主體物替換、給視頻中添加元素、情人節模板等多個火爆功能后,Pika 模型也進入 2.2 時代。
當前生成分辨率升級至 1080p,支持生成 10s 長視頻,并成為行業內第一個支持 10s 首尾幀功能的模型。
來自 Matt Menendez 的測評案例
目前支持 1080p 分辨率的有 Luma Ray2 和 Pika 2.2 模型;
目前支持首尾幀的產品有 Pika 2.2、Runway、Luma、Kling、Vidu。
2. Wan 2.1 最強開源模型
阿里 Wan 2.1 開源模型,支持 720p、480p 視頻生成。但 Wan 模型對硬件要求極高,自行部署運行時間非常久。經過我的測試,可以說是當下最好的開源模型沒有之一。非常感人的是,Wan 對于動漫平面風格的支持也很好,開源視頻整體迭代較慢,期待今后有又好又快的模型出現。
這里我用 Wan 2.1 和 Luma 最新模型 Ray2 測試了幾個案例做對比,可以看到 Wan 2.1 有著完全不輸閉源模型的能力:視頻中展示的片段幾乎沒有抽卡:
第二段油畫花朵綻放的效果對語義理解到位,Luma 呈現的效果不佳;但第三段 Luma 準確理解慢動作鏡頭的指令而 Wan 沒有。
大家如果想體驗 Wan 的話可以考慮選擇一些云端 All in one 平臺,可以避免自己本地部署開源模型的麻煩,生成速度也更快。這里給大家推薦一款華人團隊的產品 Pollo,集成了最新的 AI 視頻、圖像生成工具。套餐支持梯度定價,可選擇性非常高。
訪問地址: https://pollo.ai?ref=yti3mjk
一個賬號可以同時使用市面上 11 款熱門視頻模型,還是挺香的
3. Luma
Luma 在發布了驚艷的 Ray2 模型后,更新了視頻匹配聲音、首尾幀、循環動畫、延長時間等功能。
同時推出了新型號 Ray2 Flash,比 Ray2 速度快 3 倍、價格便宜 3 倍。
4. Pixverse
Pixverse 上線 4.0,其中一個 3D 效果的視頻模板很有意思。自毒液特效、肌肉特效等爆火后,Pixverse 和 Pika 嘗到了甜頭,都在視頻特效道路上不斷嘗試。
同時上周 Pixverse 宣布月活突破 1500 萬,注冊用戶達 4000 萬。
5. Runway
從去年下半年開始 Runway 模型層面沉寂了比較久的時間,最近比較大的更新是增加了首幀風格化能力,通過給模型輸入一張風格化圖片,可以實現視頻整體風格轉換。
這個案例出自@Ror_Fly,初始視頻通過 VEO2 I2V 生成,然后通過 Premiere 進行像素化 + FPS 降低,通過 Magnific 的結構參考圖像進行了首幀風格化,最終用 Runway 實現視頻風格化。
1. T2V 短片 - 汗青
Veo2 是 Google 發布的 T2V 視頻模型,目前在 T2V 方向上擁有獨一檔的效果,近期能看到越來越多使用 Veo2 T2V 完成的作品。以下作品來自國內知名博主汗青工作室
2. 數字人歌手 MV - 汗青
同樣來自汗青工作室的作品,他們內測了本月將在即夢上線的 對口型模型 OmniHuman-1。該模型主要有以下特點:角度包容性高,此前的工具無法支持 90 度純側面;
精細還原口型細節 ,放大后連嘴周圍皮膚和牙齒都清晰可見;
能夠直接識別歌詞并精準對口,同時情緒飽滿;
支持多人同唱;
即便人物嘴部較小或存在遮擋,也能自然呈現。
3. Animate 短篇 - yachimat
最近身邊很多朋友問我 Kling 是不是當前最好的視頻模型,其實在動畫領域 Kling 并不驚艷,即 Hailuo 發布針對動漫場景訓練過的 I2V 模型后,當前 Vidu2、Luma Ray2 是很多創作者的首選。
這個視頻出自我非常欣賞的 Animate 類 AI 視頻博主 yachimat - AI Short Anime,以花樣滑冰為背景,講述了天才選手 suketo 與一位聾啞少女克服偏見與嫉妒、通過音樂實現心靈共鳴的故事。視頻采用 Luma 最新的 Ray2 模型,在復雜運動、影子處理和頭發動態表現等高難度場景上取得了突破,展示了 AI 視頻模型在平面風格運動表現上的全新可能。發布后迅速吸引了 7 萬瀏覽量。
GenLumio 還另外收錄了幾個使用 Ray2 模型制作的優秀 Animate 作品,感興趣的朋友可訪問網站觀看: https://genlumio.framer.website/
這期播客訪談了 Luma AI 唯一的產品經理,可以了解到在這樣技術驅動的團隊,產品經理的職能角色和傳統互聯網行業的差異: https://www.xiaoyuzhoufm.com/episode/67bbc5b105a90dfd0d62ff9f
更多案例歡迎訪問我的網站: https://genlumio.framer.website/
復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。
發評論!每天贏獎品
點擊 登錄 后,在評論區留言,系統會隨機派送獎品
2012年成立至今,是國內備受歡迎的設計師平臺,提供獎品贊助 聯系我們
標志設計標準教程
已累計誕生 729 位幸運星
發表評論 為下方 9 條評論點贊,解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓