Runway版Sora發布:高保真、超強一致性,Gen-3 Alpha震撼到網友了
雖然生成的影片只有10秒左右,但在清晰度、細節、角色一致性等方面看起來可以匹敵現有一切影片生成模型。
剛剛,AI影片產生新創公司Runway推出了新的影片產生基礎模式Gen-3 Alpha。該模型可以創建具有複雜場景變化、多種電影風格和詳細藝術指導的高精細視訊。
Runway表示,Gen-3 Alpha是即將推出的一系列車型中的首個。系列模型是在為大規模多模態訓練而建造的新基礎設施上訓練的。
與Gen-2相比,Gen-3 Alpha在保真度、一致性和運動性方面有了重大改進,並朝著建立通用世界模型邁出了重要一步。
在部落格中,Runway重點強調,Demo的所有影片均使用 Gen-3 Alpha 生成,未經任何修改。
有許多網友表示,Runway果然讓我們再次感到震撼:Runway回歸!
Pytorch負責人Soumith Chintala認為其中一些生成品質達到了Sora等級。
接下來,讓我們欣賞下Runway影片產生的效果。
提示:日本某城市高速行駛的火車窗上,映出一位女性的微妙倒影.(Prompt: Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city .)提示:一名太空人正在裡約熱內盧的一條小巷裡奔跑。 (Prompt: An astronaut running through an alley in Rio de Janeiro.)
從Demo中可以看到,Runway產生的10秒量級的影片在清晰度、細節、角色的一致性和保真度等方面做得非常好。讓人直呼:什麼時候可以用呢?
細粒度的時序控制
Gen-3 Alpha經過訓練,具有高度的可描述性,時間密集字幕,實現富有想像的場景過渡。
提示:一隻螞蟻從巢穴中爬出的特寫鏡頭。鏡頭拉遠,露出山丘後方的街區。 (Prompt: An extreme close-up shot of an ant emerging from its nest. The camera pulls back revealing a neighborhood beyond the hill.)提示:一架FPV無人機飛過懸崖上的一座城堡。 (Prompt: A FPV drone shot through a castle on a cliff.)
產生更逼真的人類角色
Gen-3 Alpha 擅長創造具有多種動作、手勢和情感的富有表現力的人類角色。
提示:這是一幅電影廣角人像,一名男子的臉被光照亮。 (Prompt: A cinematic wide portrait of a man with his face lit by the glow of a TV.)提示:一個中年悲傷的禿頭男人突然變得快樂,因為一頂捲髮和一副太陽眼鏡突然落在他的頭上。 (Prompt: A middle-aged sad bald man becomes happy as a wig of curly hair and sunglasses fall suddenly on his head.)
藝術創作
Gen-3 Alpha 的訓練工作是由研究科學家、工程師和藝術家組成的跨學科團隊共同努力完成的,旨在讓Gen-3 Alpha理解、解釋各種藝術風格和電影術語。
提示:夜晚,窗外一個巨大的奇怪生物在破敗的城市中行走,一盞路燈昏暗地亮著。 (Prompt: View out a window of a giant strange creature walking in rundown city at night, one single street lamp dimly lighting the area.)提示:延時拍攝,穿過燈光閃爍的走廊,一條銀色的織物飛過整個走廊。 (Prompt: Hyperlapse shot through a corridor with flashing lights. A silver fabric flies through the entire corridor.)
行業定制
Runway表示Gen-3 系列模型的客製化可以實現更風格化的控制和更一致的角色,並針對特定的藝術和敘事要求等進行最佳化。
提示:從肩膀視角拍攝一個女人奔跑並觀看遠處火箭。 (Prompt: Over the shoulder shot of a woman running and watching a rocket in the distance.)提示:一個女人的側臉照片,煙火在她身後的遠處綻放。 (Prompt: A side profile shot of a woman with fireworks exploding in the distance beyond her.)
在Sora發布這幾個月後,越來越多的視頻生成模型出現,如近期發布的快手可靈、Luma、以及今天的Gen-3。但遺憾的是,很多產品我們還不能直接體驗到。
相信接下來和文字大模型一樣,影片產生模型會越來越多,我們也能自由嘗試這些產品了。
部落格連結:https://runwayml.com/blog/introducing-gen-3-alpha/
以上是Runway版Sora發布:高保真、超強一致性,Gen-3 Alpha震撼到網友了的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

但可能打不過公園裡的老大爺?巴黎奧運正在如火如荼地進行中,乒乓球項目備受關注。同時,機器人打乒乓球也取得了新突破。剛剛,DeepMind提出了第一個在競技乒乓球比賽中達到人類業餘選手等級的學習型機器人智能體。論文地址:https://arxiv.org/pdf/2408.03906DeepMind這個機器人打乒乓球什麼程度呢?大概和人類業餘選手不相上下:正手反手都會:對手採用多種打法,機器人也能招架得住:接不同旋轉的發球:不過,比賽激烈程度似乎不如公園老大爺對戰。對機器人來說,乒乓球運動

8月21日,2024世界機器人大會在北京隆重召開。商湯科技旗下家用機器人品牌「元蘿蔔SenseRobot」家族全系產品集體亮相,並最新發布元蘿蔔AI下棋機器人-國際象棋專業版(以下簡稱「元蘿蔔國象機器人」),成為全球首個走進家庭的西洋棋機器人。作為元蘿蔔的第三款下棋機器人產品,全新的國象機器人在AI和工程機械方面進行了大量專項技術升級和創新,首次在家用機器人上實現了透過機械爪拾取立體棋子,並進行人機對弈、人人對弈、記譜複盤等功能,

開學將至,該收心的不只即將開啟新學期的同學,可能還有AI大模型。前段時間,Reddit擠滿了吐槽Claude越來越懶的網友。 「它的水平下降了很多,經常停頓,甚至輸出也變得很短。在發布的第一周,它可以一次性翻譯整整4頁文稿,現在連半頁都輸出不了!」https:// www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/在一個名為“對Claude徹底失望了的帖子裡”,滿滿地

在北京舉行的世界機器人大會上,人形機器人的展示成為了現場絕對的焦點,在星塵智能的展台上,由於AI機器人助理S1在一個展區上演揚琴、武術、書法三台大戲,能文能武,吸引了大量專業觀眾和媒體的駐足。在有彈性的琴弦上優雅的演奏,讓S1展現出速度、力度、精準度兼具的精細操作與絕對掌控。央視新聞對「書法」背後的模仿學習和智慧控制進行了專題報道,公司創始人來傑解釋到,絲滑動作的背後,是硬體側追求最好力控和最仿人身體指標(速度、負載等),而是在AI側則採集人的真實動作數據,讓機器人遇強則強,快速學習進化。而敏捷

本屆ACL大會,投稿者「收穫滿滿」。為期六天的ACL2024正在泰國曼谷舉辦。 ACL是計算語言學和自然語言處理領域的頂級國際會議,由國際計算語言學協會組織,每年舉辦一次。一直以來,ACL在NLP領域的學術影響力都名列第一,它也是CCF-A類推薦會議。今年的ACL大會已是第62屆,接收了400餘篇NLP領域的前沿工作。昨天下午,大會公佈了最佳論文等獎項。此次,最佳論文獎7篇(兩篇未公開)、最佳主題論文獎1篇、傑出論文獎35篇。大會也評出了資源論文獎(ResourceAward)3篇、社會影響力獎(

視覺與機器人學習的深度融合。當兩隻機器手絲滑地互相合作疊衣服、倒茶、將鞋子打包時,加上最近老上頭條的1X人形機器人NEO,你可能會產生一種感覺:我們似乎開始進入機器人時代了。事實上,這些絲滑動作正是先進機器人技術+精妙框架設計+多模態大模型的產物。我們知道,有用的機器人往往需要與環境進行複雜精妙的交互,而環境則可被表示成空間域和時間域上的限制。舉個例子,如果要讓機器人倒茶,那麼機器人首先需要抓住茶壺手柄並使之保持直立,不潑灑出茶水,然後平穩移動,一直到讓壺口與杯口對齊,之後以一定角度傾斜茶壺。這

會議簡介隨著科技的快速發展,人工智慧成為了推動社會進步的重要力量。在這個時代,我們有幸見證並參與分散式人工智慧(DistributedArtificialIntelligence,DAI)的創新與應用。分散式人工智慧是人工智慧領域的重要分支,這幾年引起了越來越多的關注。基於大型語言模型(LLM)的智能體(Agent)異軍突起,透過結合大模型的強大語言理解和生成能力,展現了在自然語言互動、知識推理、任務規劃等方面的巨大潛力。 AIAgent正在接棒大語言模型,成為目前AI圈的熱門話題。 Au

今天下午,鸿蒙智行正式迎来了新品牌与新车。8月6日,华为举行鸿蒙智行享界S9及华为全场景新品发布会,带来了全景智慧旗舰轿车享界S9、问界新M7Pro和华为novaFlip、MatePadPro12.2英寸、全新MatePadAir、华为毕昇激光打印机X1系列、FreeBuds6i、WATCHFIT3和智慧屏S5Pro等多款全场景智慧新品,从智慧出行、智慧办公到智能穿戴,华为全场景智慧生态持续构建,为消费者带来万物互联的智慧体验。鸿蒙智行:深度赋能,推动智能汽车产业升级华为联合中国汽车产业伙伴,为
