這個模型,讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天!

王林
發布: 2023-04-09 16:51:03
轉載
764 人瀏覽過

最近,一個叫Xander Steenbrugge的AI研究員兼數位藝術家,上傳了一段非常震撼的影片《跨越時間之旅》。

地球上的生物大演化,從原始海洋起始,到古代蜥蜴、恐龍、哺乳動物,再到猴子、猩猩、猿人、智人…最後出現了科幻中的未來世界。

而Steenbrugge也激動地評論道:我們正在跨越一個門檻,生成式人工智慧不再只是關於新穎的美學,而是演變成了一個驚人的工具,可以構建強大的、以人為中心的敘事。 Steenbrugge表示,這個影片用了36個連續的片語。為了找到可能的最佳順序,他嘗試了超過一千種不同的提示和種子,並在程式碼中應用了許多「提示工程」的技巧,來弄清楚到底哪些是有效的,哪些是無效的。

這個模型,讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天!

前特斯拉AI高級總監Andrej Karpathy看完後大受震撼,也忍不住手癢嘗試了一波。

「超現實的蒸氣龐克神經網路機器,呈大腦形狀,放置在一個基座上,上面佈滿了齒輪製成的神經元」,在輸入這段文字後,他的大作也生成了。

2分鐘的影片(在A100上渲染約1小時),是透過在隨機雜訊輸入的模型之間平滑插值產生的。

這個名為Stable Diffusion的模型,採用的是兩個句子的意義之間「插值」的方式。插入的地方是語義的間隔,而不是視覺的空格,因此,它極大地改變了故事敘述的方式。

而這,只是由生成式人工智慧驅動的數位內容創作革命的開始。

‍Stable Diffusion:開源模型的里程碑

從2021年初以來,可以從文字描述生成圖像的人工智慧一直在快速發展。當時,OpenAI用DALL-E 1和CLIP展示了令人印象深刻的結果。

在2022年,OpenAI發布了令人印象深刻的DALL-E 2,Google展示了Imagen和Parti,Midjourney推出了公測版,Craiyon創作的AI圖像也遍布各種社群媒體。

而就現在最近,Stability AI又發布了一個全新的模型-Stable Diffusion。

這個模型,讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天!

不過,與DALL-E 2不同的是,Stable Diffusion可以產生OpenAI禁止的各種知名人士。

雖然像是Midjourney、Pixelz.ai等等這些系統也可以做到,但它們生成的質量,還遠遠沒有達到能與Stable Diffusion相媲美的程度,而且還都不是開源的。

現在有邀請我們的老朋友馬斯克,表演一個秒變「黑寡婦」(史嘉蕾喬韓森)。

這個模型,讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天!

顯然,身為主要開發者的Stability AI,希望不只一家公司或團隊能夠訓練Stable Diffusion的變體。

例如,你是沒有海量的GPU算力的研究人員。別擔心,Stable Diffusion即將能夠在一塊僅有5.1GB VRAM的顯示卡上運作。

再例如,你是平時使用配備蘋果M1晶片的MacBook的愛好者,Stable Diffusion也可以運作。只不過,這時影像生成的時間就要從幾秒鐘變成幾分鐘了。

如此看來,多模態模型正沿著先前大型語言模型所走的道路前進:遠離單一的供應商,並透過開放原始碼廣泛提供眾多的替代方案。

這個模型,讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天!

此外,Runway已經在研究如何基於Stable Diffusion來實現文字到影片的編輯了。

一句話,讓網球場變成沙灘;

這個模型,讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天!

#不管電閃雷鳴,還是風和日麗;

不管是在月球,還是火星之上;

這個模型,讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天!

都無法阻止我打網球…

用計算來加速基礎AI的開源

在測試階段之後,Stable Diffusion就會免費,程式碼和經過訓練的模型將作為開源發布。還將有一個帶有Web介面的託管版本,供用戶測試系統。

Stable Diffusion 是 Stability AI、RunwayML、LMU Munich、EleutherAI 和 LAION 的研究人員合作的結果。 EleutherAI以其開源語言模型GPT-J-6B 和GPT-NeoX-20B等而聞名。

非營利組織LAION(大規模人工智慧開放網路)為訓練資料提供了開源LAION 5B資料集,該團隊在初始測試階段根據人工回饋對其進行過濾,以建立最終的LAION-Aesthetics訓練資料集。

Runway的Patrick Esser和LMU 慕尼黑的Robin Rombach領導了這個項目,他們在海德堡大學 CompVis小組的研究奠定了這個項目的基礎。在海德堡大學,他們創建了廣泛使用的VQGAN和Latent Diffusion。這兩個模型再加上OpenAI和Google Brain的成果,讓Stable Diffusion得以實現。

Stability AI成立於2020年,背後的出資人是數學家、電腦科學家Emad Mostaque。他曾在各種對沖基金擔任分析師。

憑藉Stability AI和他的私人財富,Mostaque希望能夠培育一個開源AI研究社群。他的新創公司之前就支持創建「LAION 5B」資料集。為了訓練Stable Diffusion的模型,Stability AI為伺服器提供了4,000個Nvidia A100 GPU。

「除了我們的75名員工之外,沒有任何其他人擁有決策權——無論是億萬富翁、大型基金,還是政府,我們是完全獨立的。」 Mostaque說。 「我們計劃使用我們的計算來加速基礎人工智能的開源。」

網友都玩兒瘋了

除了開頭地兩段視頻,也有網友用Stable Diffusion產生一段老化的動畫。

他表示,製作過程中在長提示中改變一個詞,比在短提示中有更微妙的效果。此外,使用描述,如老,中年,幼兒,通常比說明具體的年齡,如10歲,40歲,80歲效果更好。

這個模型,讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天!

此外,還有各種夢幻的靜態圖片。

這個模型,讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天!

「情人」

這個模型,讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天!

「獅子」

這個模型,讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天!

#Leyendecker與Maxence筆下的「黑魂」

這個模型,讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天!

「賽博京劇」

彩蛋

感受一下特斯拉的前人工智慧和自動駕駛視覺總監Andrej Karpathy被虐的心路歷程。

#

這個模型,讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天!

看完大神製作的影片之後,Karpathy非常興奮。

然後一波操作搞出來的成果,放進幼兒園小班都毫無違和感。 絕望的Karpathy直呼想要請一位「提示工程師」替自己創作。最後Karpathy終於悟了,創作出了他非常滿意的新作-蒸氣龐克人工神經網路機器,和藍莓義大利麵。

#

以上是這個模型,讓前特斯拉AI總監Andrej Karpathy沉迷了整整三天!的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新問題
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!