在AI視頻被一眾新秀，比如Sora、Luma、可靈等等占據(jù)注意力的時(shí)候，已經(jīng)有人忘了AI視頻領(lǐng)域統(tǒng)治了N久的王者，他叫Runway。
去年的11月份更新了一次Gen2模型模型，然后宣布他們要開始組團(tuán)隊(duì)開始進(jìn)軍世界模型之后。
他們就再無動靜了。
一晃眼，將近8個(gè)月的時(shí)間。
Sora、Vidu、LTX、Luma、可靈輪番炸場。Runway依然不為所動，甚至都有好事者，做了一張梗圖。
沉入海底的墓碑。
但是今天，那個(gè)AI視頻領(lǐng)域的王者。
他終于回來了。
在悄無聲息之間，他正式發(fā)布了它的Gen3模型。
https://runwayml.com/blog/introducing-gen-3-alpha/
話不多說，先放幾個(gè)Gen3的Case。
我真的一聲長嘆，你要說這AI時(shí)代，是誰拉開了AI視頻的長河，那自始至終，也只有一個(gè)名字。
Runway。
2022年8月，跟Stability AI一起訓(xùn)了一個(gè)舉世聞名的模型，叫Stable Diffusion。
2023年2月發(fā)布Gen1，支持視頻風(fēng)格轉(zhuǎn)繪。
2023年6月發(fā)布Gen2，開啟了文生視頻和圖生視頻的序章。
2024年6月，整整一年的時(shí)間，帶著世界模型的Gen3，終于TM的來了?。。?br/>
我的心情真的感慨萬分，去年Gen2剛剛上線時(shí)，我為了展示AI視頻的能力，做了《流浪地球3》的預(yù)告片，而這個(gè)片子，也一舉讓國內(nèi)的所有影視人，看到了AI視頻的魅力。
而后11月Gen2模型更新，光影質(zhì)感更穩(wěn)定，我又做了《三體》；2月為了參加Runway的Gen48比賽，我又做了《TheLastGoodbye》。
可以說，我命運(yùn)的齒輪，也一直是跟runway一起做著數(shù)不清的糾纏。
而今天，Runway的Gen3終于發(fā)布了，雖然是Alpha版本。
但也證明了，王，他一直都在。
我把所有的官方發(fā)的片子都看了一遍，大概總結(jié)了幾個(gè)點(diǎn)：
1.極度穩(wěn)定的光影
看官方的這個(gè)Case。
Prompt：在日本城市以超高速移動的火車窗戶上，一個(gè)女人的微妙倒影。
2.10s長度
可以看到，Gen3所有的case都是10s鐘的。
而且大概率，Gen3開放給大家用的時(shí)候，大家生成的時(shí)長也是10s。
最重要的是，根據(jù)他們老板Cristobal Valenzuela說，Gen3的模型生成速度還非?？?。
5s的視頻生成時(shí)間45s，10s的視頻生成時(shí)間90s。
基本秒殺現(xiàn)在市面上所有第二代AI視頻的生成速度了。畢竟動不動幾分鐘一個(gè)，這個(gè)時(shí)間還是挺難頂?shù)摹?/p>
3.審美強(qiáng)
之前很多的AI視頻產(chǎn)品，審美就是一坨。真的。。。實(shí)在是太丑了。
還有總是給自己亂加戲的，關(guān)鍵加的還是巨丑的戲。用起來神煩，說的就是那個(gè)Luma。
反觀Runway，一直以來的特點(diǎn)就是審美強(qiáng)，畢竟正兒八經(jīng)做影視起家的，還去做了《瞬息全宇宙》的特效，比外行強(qiáng)多了。
比如這兩個(gè)。
Prompt：博物館里一幅畫的廣角對稱鏡頭。攝像機(jī)縮進(jìn)到靠近畫面。
Prompt：一個(gè)隱身人物在高樓大廈之間升空的航拍視角。
這配色和風(fēng)格，喜歡，是真喜歡。
4.想象力看著靠譜
很多模型都是做真實(shí)世界的效果很強(qiáng)，但是一旦到了一些幻想、玄幻、科幻、魔幻的畫面上，就直接廢了。就感覺跟過擬合了一樣。
Runway Gen3的這個(gè)看著很強(qiáng)，但是實(shí)際不好說，因?yàn)檫€得實(shí)際上手測。不過我自己，對Runway還是非常有信心的。
比如：
Prompt:在夜晚的破舊城市里，透過窗戶看到一個(gè)巨大奇怪的生物在行走，只有一盞街燈微弱地照亮了周圍。
Prompt：通過一個(gè)有閃爍燈光的走廊進(jìn)行超級延時(shí)攝影，一塊銀色的布料飛過整個(gè)走廊。
5.物理規(guī)律
物理規(guī)律簡直已經(jīng)是第二代AI視頻的標(biāo)配了。Runway Gen3的物理規(guī)律看著也非常的棒?；旧鲜切袠I(yè)第一梯隊(duì)水平。
Prompt：一位年長男士在側(cè)面受光的鋼琴上演奏。
整體，我很喜歡。
在官方文檔里，Runway對Gen3 alpha的描述是這樣的：
"Gen-3 Alpha is the first of an upcoming series of models trained by Runway on a new infrastructure built for large-scale multimodal training. It is a major improvement in fidelity, consistency, and motion over Gen-2, and a step towards building General World Models."
"Gen-3 Alpha 是 Runway 在為大規(guī)模多模態(tài)訓(xùn)練構(gòu)建的新基礎(chǔ)設(shè)施上訓(xùn)練的即將推出的一系列模型中的第一個(gè)。與 Gen-2 相比，它在保真度、一致性和動作方面有了重大改進(jìn)，是朝著構(gòu)建通用世界模型邁出的一步。"
但是世界模型，不是最重要的，因?yàn)榇蠹乙呀?jīng)看過Sora、可靈啥的了。
最重要的是這句話。
"現(xiàn)有的控制模式包括 Motion Brush、高級攝像頭控制、導(dǎo)演模式以及即將推出的工具，用于更精細(xì)地控制結(jié)構(gòu)、風(fēng)格和動作。"
我跟很多的AI創(chuàng)作者有過很多的交流，大家有一個(gè)觀點(diǎn)出奇的統(tǒng)一，那就是：Luma和可靈是玩具。
因?yàn)榭煽匦浴?/strong>
一個(gè)完整的AI視頻作品，要的除了物理規(guī)律，還要超強(qiáng)的可控性，要不然就會像氣球人的導(dǎo)演控訴Sora一樣，Roll特么300個(gè)鏡頭才有1個(gè)能用的。
而Luma和可靈，都只有文生視頻和圖生視頻這兩種模式，甚至可靈的圖生視頻都還沒上線。
不夠，這遠(yuǎn)遠(yuǎn)不夠。
而Runway在2018年成立的那一天，他們的目標(biāo)，就是顛覆電影行業(yè)。
所以他們清楚，可控性這玩意，太重要了。
所以他們做了相機(jī)運(yùn)動，做了運(yùn)動筆刷，做了人物扣除，做了各種各樣的有趣的工具。
這一切，都是為了創(chuàng)作者們，能做出更可控的畫面。而我到了如今，用的最多的AI視頻工具，也還依然是Runway。
現(xiàn)在，Runway的Gen3，直接帶著那全套的工具，回來了。
未來幾天內(nèi)，就會開放給所有人。
以Runway的Gen3 Alpha推出的今天為信號。
我覺得，AI視頻正式進(jìn)入了2.0時(shí)代。
嗯，那個(gè)全面沖擊的時(shí)代。
迎接變革。
也迎接，王的歸來吧。
發(fā)表評論
2024-06-19 20:10:03
2024-06-19 20:10:03