目錄
 生成式AI爆發式成長:從圖片到影片
生成式AI爆發的背後
生成式AI面臨現實挑戰
結語" >結語
首頁 科技週邊 人工智慧 AI寫小說、繪畫、剪視頻,生成式AI更火了!

AI寫小說、繪畫、剪視頻,生成式AI更火了!

Apr 09, 2023 pm 02:51 PM
人工智慧 影片 小程式

近日,生成式AI又火了!一個叫做「盜夢師」的微信小程序,上線一鳴驚人,達成了日增5萬新用戶的紀錄。

盜夢師是一個能根據輸入文字產生圖片的AI平台,屬於AIGC(AI-Generated Content,即人工智慧產生內容)的分支。

在使用者發揮想像,輸入文字描述後,盜夢師便可生成1:1、9:16和16:9三種比例的圖片,還有24種繪畫風格可以選擇-除了基礎的油畫、水彩、素描等繪畫種類,還包括賽博龐克、蒸氣波、像素藝術、吉卜力和CG 渲染等特別風格。

AI寫小說、繪畫、剪視頻,生成式AI更火了!

圖:科技雲端報告編輯用「盜夢師」微信小程式產生

事實上,這並不是第一款「以文生圖」的AI軟體。從Midjourney到Stable Diffusion,生成式AI一直是近兩年最炙手可熱的話題。

作為AI發展的重要方向,生成式AI具有非常大的發展潛力。

根據Gartner上半年的數據,預計到 2025 年,生成式AI將佔所有產生數據的10%,目前這一比例不到1%。

有觀點認為,2022年將是生成式AI從技術成熟到深入社會基本面的元年。

 生成式AI爆發式成長:從圖片到影片

#最近幾年,AI科技在視覺領域的發展可謂是「神速」。

去年1月,致力於「用通用人工智慧造福全人類」的OpenAI公司,基於GPT-3模型發布了劃時代的DALL-E,實現了從文本生成圖像。

今年4月份,OpenAI發布的第二代DALL-E 2模型,再次為影像生成領域樹立了全新標竿。

使用者可以透過簡短的文字描述(prompt)來產生對應的圖像,使得不會畫畫的人也可以將自己的想像力變為藝術創作,例如「羊駝打籃球」這句話生成的四張圖片,看起來就非常符合大家預期的想像。

AI寫小說、繪畫、剪視頻,生成式AI更火了!

DALL-E 2模型產生圖片範例

#不僅如此,隨著文字描述的顆粒度不斷細化,產生的圖像也會越來越精準,效果在非專業人士看來已經相當震撼。

但DALL-E 2這樣的模型仍停留在二維創作即圖片產生領域,無法產生360度無死角的3D模型。

不過這依舊難不住極具創意的演算法研究員,Google Research的一項最新成果-DreamFusion模型,即可透過輸入簡單的文字提示產生3D模型,不僅能夠在不同的光照條件下進行渲染,產生的3D模型還具有密度、顏色等特性,甚至可以把生成的多個3D模型融合到一個場景裡。

在產生3D圖片之後,Meta的演算法人員將想法進一步打開,向更高難度發起挑戰,開始探索用文字提示直接產生影片。

雖然本質上來說,影片就是一系列影像的疊加,但相較於生成影像,用文字來產生影片時,不僅需要產生相同場景下的多個幀,還要確保相鄰幀之間的連貫性。由於訓練模型時可用的高品質視訊資料非常少,但計算量卻很大,大大增加了視訊生成任務的複雜性。

今年9月,來自Meta的研究人員發布了Make-A-Video,這是一個基於人工智慧的高品質短片生成模型,相當於視訊版的DALL-E,也被戲稱為“用嘴巴做影片”,即可以透過文字提示創建新的影片內容,其背後使用的關鍵技術,也同樣來自DALL-E等圖像生成器所使用的“文字-圖像”合成技術。

僅1週之後,GoogleCEO皮查伊就接連官宣了兩個模型,來正面挑戰Meta的Make-A-Video,分別是Imagen Video與Phenaki。

與Make-A-Video相比,Imagen Video更突顯影片的高畫質特性,能產生1280*768解析度、每秒24格的影片片段,也能理解並產生不同藝術風格的作品;

理解物體的3D結構,在旋轉展示中不會變形;

甚至還繼承了Imagen準確描繪文字的能力,在此基礎上僅靠簡單描述產生各種創意動畫。

AI寫小說、繪畫、剪視頻,生成式AI更火了!

Imagen Video生成影片範例

而Phenaki則能根據200個字左右的提示語產生2分鐘以上的較低解析度長鏡頭,講述一個相對完整的故事。

AI寫小說、繪畫、剪視頻,生成式AI更火了!

Phenaki生成影片範例

目前,國內也有不少生成式AI的應用。

例如,位元組跳動旗下的剪映APP提供AI生成影片功能,並可免費使用。

剪映的圖文成片功能和Google類似,創作者可以透過幾個關鍵字或一小段文字,產生一段創意小影片。

剪輯也可以根據文字描述智慧配對影片素材,將影片包裝為更垂直的內容作品,包括財經、歷史、人文等類別。

2022年1月,網易推出一站式AI音樂創作平台“網易天音”,將用戶編輯的新年祝福AI生成為歌曲,並在上半年推出了web端專業版。

2021年9月,彩雲小夢APP上線,能夠進行各種類型文字創作,用戶只需要給出一個1-1000字的開頭,彩雲小夢就能續寫出後面的故事。

事實上,AI創作還有多種形式。當生成式AI技術應用於寫稿,可以誕生機器版的記者、小說家、詩人、編劇等,而當它應用於繪畫、音樂和舞蹈領域時,則可以「培養」出畫家、作曲家和編舞人員。

生成式AI爆發的背後

過去一年裡,生成式AI發展得更好了。谷歌、微軟、Meta等AI領域的軟體巨頭們已在內部推進該技術,讓生成式AI整合到自己的產品中。

為什麼生成式AI突然就火紅了?

其實生成式AI技術一直在快速發展中,只不過之前因過高的技術門檻,多囿於科技界的小圈層。

回顧AI技術的發展歷程,會發現生成式AI的爆發離不開三個因素:更好的模型、更多的數據,和更多的計算。

2015年以前,小模型被認為是理解語言的「最先進技術」。這些小模型,擅長分析任務,並部署在從預測交付時間到詐欺分類的工作中。

然而,對於通用的生成任務,它們的表達能力還不夠強。生成人類層次的寫作或程式碼,仍只是一個夢想。

2017年,Google研究院發布了一篇里程碑式的論文(Attention is All You Need),描述了一種用於自然語言理解的新神經網路架構,稱為transformers,可以生成質量上乘的語言模型,同時,具有更高的可並行性,所需的訓練時間也大大減少。

當然,隨著模型越來越大,它們開始顯現出超越人類的層次。從2015年到2020年,用於訓練這些模型的計算量增加了6個數量級,其結果在手寫、語音和圖像識別、閱讀理解以及語言理解方面,超過了人類性能的基準。

其中,OpenAI的GPT-3脫穎而出,該模型的性能比GPT-2有了巨大飛躍,從程式碼生成到冷笑話寫作,顯示了更優秀的能力。

儘管有所有基礎研究領域的進展,這些模型並不普遍。

它們體積大、運作困難(需要GPU協調),不能廣泛使用(不可用或僅有封閉的測試版),而且作為雲端服務使用的費用昂貴。

但儘管有這些限制,最早的生成性AI應用開始進入戰場。

之後,隨著計算變得更便宜,業界繼續開發更好的演算法和更大的模型。

開發者的權限從封閉測試版擴大到了開放測試版,或者在某些情況下,開放原始碼。

如今,平台層的穩固,加上模型繼續變得更好、更快、更便宜,以及模型的訪問趨向於免費和開源,AI應用層的創造力爆發時機已經成熟。

例如,今年8月,文字-圖像生成模型Stable Diffusion開源,後繼者能更好地借助這一開源工具,挖掘出更豐富的內容生態,為向更廣泛的C端用戶普及起到至關重要的作用。

Stable Diffusion的火爆,本質上就是開源釋放了創造力。

生成式AI面臨現實挑戰

風投機構紅杉資本在官網上的一篇部落格文章中提到:「生成式AI有潛力產生數萬億美元的經濟價值。

」根據紅杉資本預測,生成式AI可以改變每個需要人類創造原創作品的行業,從遊戲到廣告再到法律。

具體而言,未來生成式AI的應用場景非常廣闊,除了文創、新聞等內容生產產業外,生成式AI在醫療保健、數位商業、製造業、農業等多個行業都有豐富的應用前景,如幫助醫生檢測X光、CT等設備掃描中的病變、創建商品的數位孿生體、輔助檢測產品品質等。

在XR、數位孿生、自動駕駛汽車等熱門技術上也有豐富的應用空間。

但值得注意的是,目前生成式AI仍有許多問題需要解決。

如在文娛領域,不少人採用生成式AI進行創作的一個原因,就是可以避免版權問題,但這並不代表沒有隱患。

一方面,AI的創作也是將學習到數據按照要求重新組合起來,雖然顆粒度越來越細,但難免還是有眼尖的人會看出可能是參考了哪些作品,甚至有網友在社群平台上表示曾在某AI生成圖片上隱約看到疑似簽名的痕跡。

另一方面,目前大部分AI生成平台多不主張版權或明確表示可以進行商用,但隨著生成式AI逐步商業化,這樣的版權環境是否存在,是否會出現新的版權問題也是需要討論的。

生成式AI的邏輯與安全性也有待提升。目前的生成式AI很容易犯一些常識性的錯誤,在一些需要長期記憶的地方也容易出現問題。

如在AI生成小說的過程中,常會因為篇幅較長而出現前後矛盾的地方。

因此,即使生成式AI已經可以在許多領域得到應用,真要讓生成式AI投入工作,還要透過大量的訓練來避免因AI的「錯誤」造成的重大損失。

畢竟醫療、製造業這些應用場景沒有文創產業那樣的試誤空間。

結語

儘管生成式AI目前還離不開人工幹預,但不可否認的是,生成式AI仍具有非常大的發展潛力。

生成式AI的出現,意味著AI開始在現實內容中,承擔從「觀察、預測」拓展到「直接生成、決策」的新角色。換句話說,生成式AI是在創造,而不僅僅是分析。

正如OpenAI CEO Sam Altman所說:「生成式AI提醒我們,很難做出有關於人工智慧的預測。

###################################################十年前傳統觀點認為:人工智慧首先會影響體力勞動;然後,是認知勞動;然後,也許有一天它可以做創造性的工作。現在看起來,它會以相反的順序進行。」### ###

以上是AI寫小說、繪畫、剪視頻,生成式AI更火了!的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1664
14
CakePHP 教程
1423
52
Laravel 教程
1317
25
PHP教程
1268
29
C# 教程
1248
24
位元組跳動剪映推出 SVIP 超級會員:連續包年 499 元,提供多種 AI 功能 位元組跳動剪映推出 SVIP 超級會員:連續包年 499 元,提供多種 AI 功能 Jun 28, 2024 am 03:51 AM

本站6月27日訊息,剪映是由位元組跳動旗下臉萌科技開發的一款影片剪輯軟體,依託於抖音平台且基本面向該平台用戶製作短影片內容,並相容於iOS、安卓、Windows 、MacOS等作業系統。剪映官方宣布會員體系升級,推出全新SVIP,包含多種AI黑科技,例如智慧翻譯、智慧劃重點、智慧包裝、數位人合成等。價格方面,剪映SVIP月費79元,年費599元(本站註:折合每月49.9元),連續包月則為59元每月,連續包年為499元每年(折合每月41.6元) 。此外,剪映官方也表示,為提升用戶體驗,向已訂閱了原版VIP

使用Rag和Sem-Rag提供上下文增強AI編碼助手 使用Rag和Sem-Rag提供上下文增強AI編碼助手 Jun 10, 2024 am 11:08 AM

透過將檢索增強生成和語意記憶納入AI編碼助手,提升開發人員的生產力、效率和準確性。譯自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG,作者JanakiramMSV。雖然基本AI程式設計助理自然有幫助,但由於依賴對軟體語言和編寫軟體最常見模式的整體理解,因此常常無法提供最相關和正確的程式碼建議。這些編碼助手產生的代碼適合解決他們負責解決的問題,但通常不符合各個團隊的編碼標準、慣例和風格。這通常會導致需要修改或完善其建議,以便將程式碼接受到應

七個很酷的GenAI & LLM技術性面試問題 七個很酷的GenAI & LLM技術性面試問題 Jun 07, 2024 am 10:06 AM

想了解更多AIGC的內容,請造訪:51CTOAI.x社群https://www.51cto.com/aigc/譯者|晶顏審校|重樓不同於網路上隨處可見的傳統問題庫,這些問題需要跳脫常規思維。大語言模型(LLM)在數據科學、生成式人工智慧(GenAI)和人工智慧領域越來越重要。這些複雜的演算法提升了人類的技能,並在許多產業中推動了效率和創新性的提升,成為企業保持競爭力的關鍵。 LLM的應用範圍非常廣泛,它可以用於自然語言處理、文字生成、語音辨識和推薦系統等領域。透過學習大量的數據,LLM能夠產生文本

微調真的能讓LLM學到新東西嗎:引入新知識可能讓模型產生更多的幻覺 微調真的能讓LLM學到新東西嗎:引入新知識可能讓模型產生更多的幻覺 Jun 11, 2024 pm 03:57 PM

大型語言模型(LLM)是在龐大的文字資料庫上訓練的,在那裡它們獲得了大量的實際知識。這些知識嵌入到它們的參數中,然後可以在需要時使用。這些模型的知識在訓練結束時被「具體化」。在預訓練結束時,模型實際上停止學習。對模型進行對齊或進行指令調優,讓模型學習如何充分利用這些知識,以及如何更自然地回應使用者的問題。但是有時模型知識是不夠的,儘管模型可以透過RAG存取外部內容,但透過微調使用模型適應新的領域被認為是有益的。這種微調是使用人工標註者或其他llm創建的輸入進行的,模型會遇到額外的實際知識並將其整合

你所不知道的機器學習五大學派 你所不知道的機器學習五大學派 Jun 05, 2024 pm 08:51 PM

機器學習是人工智慧的重要分支,它賦予電腦從數據中學習的能力,並能夠在無需明確編程的情況下改進自身能力。機器學習在各個領域都有廣泛的應用,從影像辨識和自然語言處理到推薦系統和詐欺偵測,它正在改變我們的生活方式。機器學習領域存在著多種不同的方法和理論,其中最具影響力的五種方法被稱為「機器學習五大派」。這五大派分別為符號派、聯結派、進化派、貝葉斯派和類推學派。 1.符號學派符號學(Symbolism),又稱符號主義,強調利用符號進行邏輯推理和表達知識。該學派認為學習是一種逆向演繹的過程,透過現有的

為大模型提供全新科學複雜問答基準與評估體系,UNSW、阿貢、芝加哥大學等多家機構共同推出SciQAG框架 為大模型提供全新科學複雜問答基準與評估體系,UNSW、阿貢、芝加哥大學等多家機構共同推出SciQAG框架 Jul 25, 2024 am 06:42 AM

編輯|ScienceAI問答(QA)資料集在推動自然語言處理(NLP)研究中發揮著至關重要的作用。高品質QA資料集不僅可以用於微調模型,也可以有效評估大語言模型(LLM)的能力,尤其是針對科學知識的理解和推理能力。儘管目前已有許多科學QA數據集,涵蓋了醫學、化學、生物等領域,但這些數據集仍有一些不足之處。其一,資料形式較為單一,大多數為多項選擇題(multiple-choicequestions),它們易於進行評估,但限制了模型的答案選擇範圍,無法充分測試模型的科學問題解答能力。相比之下,開放式問答

SK 海力士 8 月 6 日將展示 AI 相關新品:12 層 HBM3E、321-high NAND 等 SK 海力士 8 月 6 日將展示 AI 相關新品:12 層 HBM3E、321-high NAND 等 Aug 01, 2024 pm 09:40 PM

本站8月1日消息,SK海力士今天(8月1日)發布博文,宣布將出席8月6日至8日,在美國加州聖克拉拉舉行的全球半導體記憶體峰會FMS2024,展示諸多新一代產品。未來記憶體和儲存高峰會(FutureMemoryandStorage)簡介前身是主要面向NAND供應商的快閃記憶體高峰會(FlashMemorySummit),在人工智慧技術日益受到關注的背景下,今年重新命名為未來記憶體和儲存高峰會(FutureMemoryandStorage),以邀請DRAM和儲存供應商等更多參與者。新產品SK海力士去年在

SOTA性能,廈大多模態蛋白質-配體親和力預測AI方法,首次結合分子表面訊息 SOTA性能,廈大多模態蛋白質-配體親和力預測AI方法,首次結合分子表面訊息 Jul 17, 2024 pm 06:37 PM

編輯|KX在藥物研發領域,準確有效地預測蛋白質與配體的結合親和力對於藥物篩選和優化至關重要。然而,目前的研究並沒有考慮到分子表面訊息在蛋白質-配體相互作用中的重要作用。基於此,來自廈門大學的研究人員提出了一種新穎的多模態特徵提取(MFE)框架,該框架首次結合了蛋白質表面、3D結構和序列的信息,並使用交叉注意機制進行不同模態之間的特徵對齊。實驗結果表明,該方法在預測蛋白質-配體結合親和力方面取得了最先進的性能。此外,消融研究證明了該框架內蛋白質表面資訊和多模態特徵對齊的有效性和必要性。相關研究以「S

See all articles