剛剛,字節的火山引擎的發布會基本結束了。
我現在有點過于激動。
雖然發布會結束了,但是我覺得,一個顛覆行業的全新的起點,在這一刻,正式到來了。
字節正式發布了他們全新的兩款 AI 視頻模型:
豆包視頻生成-PixelDance 模型和 Seaweed 模型。
Seaweed 模型下次我再詳細來說。這次,我想說這個豆包 PixelDance 模型,因為太屌了,屌炸了,我真的是全程驚嘆著看完的。
他們正式宣布這玩意的那一刻,現場掌聲雷動,我隔著屏幕都感覺快特么把房頂掀翻了。
真的,如果要給這個豆包 PixelDance 模型,做一個總結,那就是三個詞:
人物的復雜連續動作,多鏡頭組合視頻,極致的運鏡控制。
聽著感覺有點難理解是不是?不用急,我一會詳細來解釋。
我先放幾個 case,給大家感受一下這玩意的震撼:
真的,影視行業在之前,幾乎沒法用 AI,就是因為,人物表演太垃圾,還有場景和人物一致性太差,運鏡說實話也不咋地。
現在,字節出手,將 AI 視頻推上了全新的高度。
行業顛覆的奇點,就在今天,就在這個發布會上,正式到來了。
而我,在憋了整整 4 天后,也終于可以發出這篇文章。
對,4 天前,我就受字節邀請,提前測過了這個豆包 PixelDance 模型,當時給我震驚的無以復加,你知道,作為一個博主,測完了這么屌的東西,自然就是想第一時間分享出去,但是因為保密協議,我只能只字不提。
所以你就知道,我這 4 天,憋的有多難受。
而現在,一切都來了。我終于可以特么的說話了。
說回那三個最重要的特點:
人物的復雜連續動作,多鏡頭組合視頻,極致的運鏡控制。
過往,AI 視頻有一個很致命的點,就是看起來像 PPT 動畫。
不管是 Sora 展示出來的視頻、還是 runway、還是可靈等等,運動幅度再大,也只是鏡頭幅度大,從來沒有人的復雜動作。
頂天了,轉個身,或者快速跑個步,或者揮個手,或者擁抱一下。說實話,就單擁抱這個,都沒幾個 AI 視頻能做出來的。
而如果讓圖里這個女生,摘下墨鏡,站起身,然后走向雕像呢?
所有的 AI 視頻,全部陣亡。
而這一次豆包 PixelDance,做到了,真的。
除了手上的表有一些些閃動,人物比例、動作、肢體、光影等等,幾乎毫無瑕疵。
一個戲好看,人的動作表演,才是最重要的啊。
比如在《喜劇之王》里,在最后一幕,周星馳飾演的尹天仇,在對著柳飄飄喊出那句經典的“我養你啊”的臺詞之后,柳飄飄坐在離去的出租車里,哭的非常傷心,看了一會手上的錢和表,然后把他們放進包里,拿出尹天仇視為信仰的那本《演員的自我修養》,傷心的抱在胸口。
這段表演,是連續的。連續的東西,才有張力。你才能感受到,那痛徹心扉的情緒。
而現在,用 AI,生成可以做連續動作的人物表演,不再是空談。
再看一個 case,男人喝了一口咖啡,然后放下,一個女人從背后走來。
還有,人物表情也很屌,老人笑著笑著,就哭了。
我也想哭,真的。
去年 8 月我做《流浪地球 3》預告片的時候,我就幻想過無數種關于 AI 做人物表演的可能。
僅僅一年后的今天,豆包就幫我圓了這個最大的夢。
一張圖+Prompt,就能生成風格、場景、人物一致的多鏡頭視頻,這個能力,我只在 Sora 的宣傳片里面看到過。
就是那個著名的一只狼對著月亮嚎叫的視頻。
其實說實話,這個視頻當時看,非常的震撼,但是現在看其實也還好,風格、角色和場景都太簡單了,所以一致性很好保持,也沒啥復雜的故事和分鏡。
但就這樣,現在,依然沒有任何一個 AI 視頻,能做到單視頻多鏡頭,而且還能保證完美的一致性。
別跟我說 LTX studio 那種玩意,那個做做故事版還行,做正片?洗洗睡吧,別說場景了,人物保持全景、中景、特寫統一都難。而且真的丑的出奇。
但是現在,豆包 PixelDance 做出來了,而且一致性簡直無敵,真的。
而且,只需要一張圖+Prompt 就行。
比如,這個。
Prompt:拿著鐮刀的死神朝女人走近。特寫女人的臉,她驚恐地尖叫。
或者,一場戰斗。
Prompt:白色機器人抬起雙手拿著一把步槍對著畫面左側不斷射擊。槍口射出一道綠色的能量光線。鏡頭變化成畫面左側是一個黑色的機器人,一道綠光從畫面右側快速射入,擊中了它的身體,黑色機器人被擊倒并爆炸。畫面變了,白色機器人望向爆炸,它望向遠處的爆炸,轉身走出了畫面。
又或者,看一個離奇的克蘇魯故事。
一張圖和 Prompt,就能生成單視頻多鏡頭,屌爆了,真的。
對于影視和廣告行業來說,幾分鐘能瞬間調度后面兩三個鏡頭的分鏡,直接出成片。
普通人的使用門檻,也巨幅降低,人人都是導演,人人都可以做故事的時代。
如今,真的到來了。
豆包 PixelDance 模型的運鏡,是我見過最離譜,最牛逼的。
現在的 AI 視頻的運鏡控制,還基本集中在攝像機+運動筆刷兩個功能的組合拳上,但是說實話,上限真的有限,很多大運鏡和變焦,根本做不出來。
而豆包 PixelDance,效果真的就特娘的離譜。
什么鳥瞰縮放上移旋轉這種基操我就不說了,關鍵是,直接一句話,各種 360 度圍繞主體環繞、前后景變焦、搖攝、目標跟隨、升降鏡頭什么玩意都行。
效果出奇的好,我第一次見到,在 AI 視頻,運鏡能這么牛逼,這么炫酷的。
直接看 case。
Prompt:女人微笑著低下頭,鏡頭拉遠,一個白人男人注視著這個女人。
變焦的極度自然順滑,無敵,太無敵了。
還有這個,360 度大幅度環繞運鏡。
Prompt:黑白風格,鏡頭環繞著戴墨鏡的女人拍攝,從她側面移動到正面,最后聚焦于女人的面部特寫。
這是一張圖,然后一句 Prompt 干出來的,你敢信?這動作幅度,這穩定性,比特么建模出來的還離譜,我真的服了。
你這讓攝影們還怎么玩,瘋了啊...
Sora 一個巨型期貨,從 2.16 號到如今,遲遲不見任何蹤影。
而后,6.6 號,可靈默不作聲,正式上線,代表了中國 Sora 的輸出。
而今天,9.24 號,字節再把 AI 視頻,推向一個全新的高度,是一個在 Sora 的宣傳片里,都看不到的高度。
至此,中國不需要 Sora,豆包模型就是天。
豆包 PixelDance 也不需要什么中國版 Sora 的外號,豆包 PixelDance 就是豆包 PixelDance,他就是現在 AI 視頻的天。
也至此,AI 視頻不再是玩具,而是真正的,可以進入到影視、廣告、動漫工作流中,帶來一些全新的想象。
這一槍,由我們打響。
今天這個豆包 PixelDance 模型,就會優先對企業開啟邀測,過幾天上線火山方舟,至于啥時候上線即夢向 C 端用戶全員開放,可能還得等一段時間,畢竟太新,他們說還想再優化優化模型能力,穩定了以后,就直接上線即夢,給全員開放了。
真的,也從來沒有什么奇跡,一切都是沉淀多年的積累,一切都是如約而至。
今天,我也可以喊出那句臺詞:
字節,No.1!
歡迎關注作者的微信公眾號:數字生命卡茲克
復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。
發評論!每天贏獎品
點擊 登錄 后,在評論區留言,系統會隨機派送獎品
2012年成立至今,是國內備受歡迎的設計師平臺,提供獎品贊助 聯系我們
標志設計標準教程
已累計誕生 729 位幸運星
發表評論 為下方 8 條評論點贊,解鎖好運彩蛋
↓ 下方為您推薦了一些精彩有趣的文章熱評 ↓