
Runway推出全新Gen-4模型,宣稱在AI視頻合成中實現一致性
AI視頻初創公司Runway今日宣布其最新的視頻合成模型Gen-4正式上線,該模型宣稱解決了AI視頻生成中的幾個關鍵問題。
其中最重要的是在不同鏡頭中保持角色和物體的一致性。如果你曾看過任何使用AI製作的短片,可能會發現這些作品往往是一些夢幻般的片段,主題上相連但在現實中缺乏連貫性——更像是情緒片而非一致的敘事。
Runway聲稱,只要在其界面中提供角色或物體的單一參考圖像,Gen-4就能保持角色和物體的一致性。公司展示了一些示例視頻,其中同一位女性在不同場景中出現,甚至同一座雕像在完全不同的背景下出現,無論環境和光線條件如何,外觀幾乎保持不變。
此外,Gen-4還旨在允許使用該工具的電影製作人從多個角度拍攝同一環境或主題,這在Gen-2和Gen-3中幾乎是不可能的。過去,這些工具在保持風格完整性方面表現良好,但在同一場景中生成多個角度的能力卻相對不足。
Runway最近的一次重大模型更新是Gen-3,該版本於2024年6月發佈,顯著擴展了用戶可以生成的視頻長度,從僅僅兩秒增至十秒,並提供比其前身Gen-2更高的一致性和連貫性。
Runway在競爭激烈的市場中的獨特定位
Runway於2023年2月向用戶發布了其首個公開可用的視頻合成產品。Gen-1的創作多數更像是好奇心的產物,而非對創作者有實際用途的工具,但隨後的優化使得該工具可以在有限的範圍內應用於實際項目中。
例如,它曾被用於製作電影《瞬息全宇宙》中,兩塊帶有眼睛的石頭在懸崖上對話的場景,也用於《史蒂芬·科爾伯特深夜秀》中製作視覺笑話。
與許多競爭對手的創業者多為AI研究者或矽谷企業家不同,Runway是由紐約大學提斯藝術學院的藝術學生於2018年創立的——智利的Cristóbal Valenzuela和Alejandro Matamala,以及希臘的Anastasis Germanidis。
它是第一批向公眾發布可用視頻生成工具的公司之一,並且其團隊在穩定擴散模型的基礎上也做出了重要貢獻。
儘管在資金上遠不及OpenAI等競爭對手,但Runway並未推出通用的視頻創作工具,而是尋求在行業中佔據類似Adobe的地位。它專注於向設計師和電影製作人等創意專業人士進行市場推廣,並實施旨在使Runway成為現有創意流程支持工具的功能。
這種支持工具的論點(而非獨立創意產品)幫助Runway與電影公司Lionsgate達成協議,Lionsgate允許Runway在其電影庫上合法訓練模型,而Runway則為Lionsgate提供量身定制的生產或後期製作工具。
不過,Runway與Midjourney等公司一樣,成為了一宗引起廣泛關注的知識產權案件的主角,藝術家們指控這些公司非法使用他們的作品來訓練模型,因此並非所有創作者都支持這一做法。
除了與Lionsgate的合作公告外,Runway從未公開分享其模型訓練所使用的數據。不過,404 Media的一份報導似乎揭示,至少部分訓練數據包括從熱門影響者、電影公司等的YouTube頻道中抓取的視頻。
Gen-4的未來發展仍待觀察
Gen-4所宣稱的改進針對了使用者對於這些視頻合成工具的抱怨,認為這些工具因為一致性或對場景的理解有限而在實用性上受到限制。與此類似,OpenAI的Sora等競爭工具也嘗試改善這些限制,但成效有限。
Runway的公告表示,Gen-4今天已經向“所有付費計劃和企業客戶”推出。然而,當我登錄我的付費帳戶時,Gen-4在模型選擇器中顯示為“即將推出”,尚不可選擇。Runway可能正在逐步向用戶推出該模型,以避免伺服器負載問題。
根據本文發佈時的情況,Gen-4已列為選項,但尚未可用。該模型僅在付費計劃中可用。個人非企業計劃的月費從15美元起,最高可達95美元,簽訂年度計劃還可享受20%的折扣。企業帳戶的年費為1500美元。
這些計劃為用戶提供每月最多2250個生成信用,但由於生成可用的AI視頻是一個精心策劃的過程,因此這樣的數量可能無法生成太多可用的視頻。在95美元的個人計劃中有一個“探索模式”,允許無限次生成,並以放鬆的速度進行,這是幫助用戶逐步找到想要的輸出的方式。
在這個快速發展的AI視頻生成領域,Runway的持續創新和對專業創作者的關注,使其在市場中保持競爭力。然而,面對日益增長的競爭和知識產權的法律挑戰,Runway的未來發展仍需密切關注。這不僅是技術進步的問題,更涉及到創意產業的道德界限和法律規範,這些都是未來成功的關鍵因素。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。