目錄
無須微調,用AI直接復現你在想什麼
首頁 科技週邊 人工智慧 AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

Apr 12, 2023 pm 03:52 PM
ai 影像 大腦畫面

即便沒有霍格華茲的魔法,也能看到別人在想什麼了!

方法很簡單,基於Stable Diffusion便視覺化大腦影像。

例如,你看到的小熊、飛機、火車是這樣的。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

當AI看到大腦訊號後,產生的影像是下面的樣子,可見該有的要點全有了。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

這個AI讀腦術剛剛被CVPR 2023接收,讓圈友們瞬間「顱內高潮」。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

太野了!忘了提示工程吧,現在你只要用腦子去「想」那些畫面就行了。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

想像一下,用Stable Diffusion從fMRI資料中重建視覺影像,或許意味著未來可能發展為非入侵式的腦機介面。

讓AI直接跳過人類語言,感知人類大腦中所思所想。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

到時候,馬斯克搞的Neuralink也要追趕這一AI天花板了。

無須微調,用AI直接復現你在想什麼

那麼,AI讀腦究竟如何實現?

最新研究來自日本大阪大學的研究團隊。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

論文網址:https://www.php.cn/link/0424d20160a6a558e5bf86a7bc9b67f0

大阪大學前沿生物科學研究生院和日本NICT的CiNet的研究人員基於潛在的擴散模型(LDM),更具體地說,透過Stable Diffusion從fMRI資料中重建視覺體驗。

整個運作過程的框架也非常簡單:1個影像編碼器、1個影像解碼器,還有1個語意解碼器。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

透過這樣做,該團隊消除了訓練和微調複雜人工智慧模型的需要。

所有需要訓練的是簡單的線性模型,將下部和上部視覺腦區的fMRI訊號映射到單一Stable Diffusion成分。

具體來說,研究人員將大腦區域映射為圖像和文字編碼器的輸入。下部腦區被映射到影像編碼器,上部腦區被映射到文字編碼器。如此一來可以這讓該系統能夠使用影像組成和語意內容進行重建。

首先是解碼分析。研究中所採用的LDM模型,由影像編碼器ε、影像解碼器D、文字編碼器τ組成。

研究者分別從早期和高級視覺皮層的fMRI訊號中解碼出重建圖像z以及相關文本c的潛在表徵,將其作為輸入,由自動編碼器產生復現出的圖像Xzc。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

接著,研究者也建立了一個編碼模型,對來自LDM不同組件的fMRI訊號進行預測,從而探索LDM的內部運作機制。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

研究人員使用來自自然場景資料集(NSD)的fMRI影像進行實驗,並測試他們是否能使用Stable Diffusion來重建受試者所看到的東西。

可以看到,編碼模型與LDM相關潛像預測精度,最後一種模型在大腦後部視覺皮層產生的預測精確度是最高的。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

對一個主體的視覺重建結果顯示,只用z重建的影像在視覺上與原始影像一致,但不能捕捉到語意內容。

而只用c重建的圖像具有較好的語義保真度,但視覺一致性較差,使用zc重建的圖像則可以同時具備高語義保真度和高解析度.

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

來自所有受試者對相同影像的重建結果顯示,重建的效果在不同受試者之間是穩定且比較準確的。

而在具體細節上的差異,可能來自不同個體知覺經驗或資料品質的不同,而非重建過程有誤。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

最後,將定量評估的結果繪製成圖表。

種種結果顯示,研究中採用的方法不僅可以捕捉到低層次的視覺外觀,而且還能捕捉到原始刺激物的高層次語意內容。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

由此看來,實驗顯示圖像和文字解碼的結合提供了準確的重建。

研究人員表示,受試者之間在準確性方面存在差異,但這些差異與fMRI影像的品質相關。根據團隊的說法,重建的品質與目前SOTA的方法相當,但不需要訓練其中使用的AI模型。

同時,團隊也利用從fMRI資料中得出的模型來研究Stable Diffusion的各個構建塊,例如語意內容是如何在逆向擴散過程中產生的,或在U-Net中發生什麼過程。

在去噪過程的早期階段,U-Net 的瓶頸層(橘色)產生最高的預測效能,隨著去噪過程的進行,早期層(藍色)進行早期視覺皮層活動的預測,瓶頸層則轉向高階視覺皮層。

這也就是說,在擴散過程剛開始時,影像資訊壓縮在瓶頸層中,伴隨著去噪,U-Net層之間的分離出現在視覺皮層中。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

此外,團隊正在對擴散不同階段的影像轉換進行定量解釋。透過這種方式,研究人員旨在從生物學的角度為更好地理解擴散模型做出貢獻,這些模型被廣泛使用,但人們對它們的理解仍然有限。

人腦畫面,早被AI解碼了?

多年來,研究人員一直在使用人工智慧模型來解碼來自人類大腦的訊息。

大多數方法的核心,透過使用預先錄製的fMRI圖像作為文字或圖像的生成性AI模型的輸入。

例如,在2018年初,一組來自日本的研究人員展示了一個神經網路如何從fMRI錄音中重建影像。

2019年,一個小組從猴子的神經元中重建了圖像,Meta的研究小組在Jean-Remi King的領導下,發表了新的工作,例如從fMRI數據中得出文本。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

2022年10月,德州大學奧斯汀分校的一個團隊表明,GPT模型可以從fMRI掃描中推斷出描述一個人在影片中看到的語義內容的文字。

2022年11月,新加坡國立大學、香港中文大學和史丹佛大學的研究人員使用了MinD-Vis擴散模型從fMRI掃描中重建影像,其準確性明顯高於當時可用的方法。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

再往前倒推的話,有網友指出了「根據腦波產生影像至少從2008年開始就有了,以某種方式暗示著Stable Diffusion能夠讀懂人的思想,簡直太荒謬了。」

這項由加州大學柏克萊分校發表在Nature的論文稱,利用視覺解碼器可以將人的腦電波活動轉換成影像。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

#要說回溯歷史,還有人直接拿出1999年,史丹佛李飛飛的一項關於從大腦皮質重建影像的研究。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

李飛飛也動手評論轉發,稱自己當時還是大學實習生。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

也有2011年,UC伯克利的一項研究使用功能性磁振造影(fMRI)和計算模型,初步重建了大腦的「動態視覺影像」。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

也就是說,他們重現了人們看過的片段。

但是相較於最新研究,這項重建完全稱不上「高清」,幾乎無法辨認。

作者介紹

Yu Takagi

Yu Takagi是大阪大學的助理教授。他的研究興趣是計算神經科學和人工智慧的交叉領域。

在博士期間,他在ATR腦資訊交流研究實驗室研究使用功能性磁振造影(fMRI)從全腦功能連結預測不同個體差異的技術。

最近,他在牛津大學的牛津人腦活動中心和東京大學的心理學系,利用機器學習技術了解複雜決策任務中的動態計算。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

Shinji Nishimoto

Shinji Nishimoto是大阪大學的教授。他的研究方面是對大腦中視覺和認知處理的定量理解。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

更具體地說,Nishimoto教授團隊的研究重點是透過建立自然感知和認知條件下誘發的大腦活動的預測模型來理解神經處理和代表。

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

有網友問作者,這項研究能否用於解夢?

「將同樣的技術應用於睡眠期間的大腦活動是可能的,但這種應用的準確性目前還不清楚。」

AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像

看過這項研究後:攝神取念術(Legilimency)妥妥的有了。

參考資料:

##https: //www.php.cn/link/0424d20160a6a558e5bf86a7bc9b67f0

##1 /02d72b702eed900577b953ef7a9c1182

##

以上是AI讀腦炸裂!掃描大腦畫面,Stable Diffusion逼真復現影像的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前 By 尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
4 週前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

deepseek網頁版官方入口 deepseek網頁版官方入口 Mar 12, 2025 pm 01:42 PM

deepseek網頁版官方入口

deepseek服務器繁忙怎麼解決 deepseek服務器繁忙怎麼解決 Mar 12, 2025 pm 01:39 PM

deepseek服務器繁忙怎麼解決

百度又一國民產品接入DeepSeek,是想開了還是跟風? 百度又一國民產品接入DeepSeek,是想開了還是跟風? Mar 12, 2025 pm 01:48 PM

百度又一國民產品接入DeepSeek,是想開了還是跟風?

加密數字資產交易APP推薦top10(2025全球排名) 加密數字資產交易APP推薦top10(2025全球排名) Mar 18, 2025 pm 12:15 PM

加密數字資產交易APP推薦top10(2025全球排名)

十大加密貨幣交易平台 幣圈交易平台app排行前十名推薦 十大加密貨幣交易平台 幣圈交易平台app排行前十名推薦 Mar 17, 2025 pm 06:03 PM

十大加密貨幣交易平台 幣圈交易平台app排行前十名推薦

安全靠譜的數字貨幣平台有哪些 安全靠譜的數字貨幣平台有哪些 Mar 17, 2025 pm 05:42 PM

安全靠譜的數字貨幣平台有哪些

十大虛擬幣交易平台2025 加密貨幣交易app排名前十 十大虛擬幣交易平台2025 加密貨幣交易app排名前十 Mar 17, 2025 pm 05:54 PM

十大虛擬幣交易平台2025 加密貨幣交易app排名前十

十大虛擬幣交易app哪個好  十大虛擬幣交易app哪個最可靠 十大虛擬幣交易app哪個好 十大虛擬幣交易app哪個最可靠 Mar 19, 2025 pm 05:00 PM

十大虛擬幣交易app哪個好 十大虛擬幣交易app哪個最可靠

See all articles