首頁 科技週邊 人工智慧 提高光學資料集利用率,天大團隊提出增強光譜預測效果 AI 模型

提高光學資料集利用率,天大團隊提出增強光譜預測效果 AI 模型

Jun 06, 2024 pm 12:09 PM
理論

提高光学数据集利用率,天大团队提出增强光谱预测效果 AI 模型

編輯| 枯葉蝶

最近,天津大學雷射與光電子研究所吳亮副教授、姚建銣院士團隊聯合自然語言處理實驗室熊德意教授團隊報道了一種使用多頻率補充輸入的深度學習模型來增強光譜預測效果的方案。這種方案透過使用多頻率的輸入數據,可以提高光譜預測的準確性。此外,該方案還能夠減少在光譜預測過程中的雜訊幹擾,進而提高預測效果。

此方案可提高現有光學資料集的利用率,在不額外增加訓練成本的基礎上,增強了與超表面結構對應的光譜響應的預測效果。

相關研究成果以「Enhanced spectrum prediction using deep learning models with multi-frequency supplementary inputs」為題,於2024 年5月16 日發表在《APL Machine Learning 》。

提高光学数据集利用率,天大团队提出增强光谱预测效果 AI 模型

論文連結:https://doi.org/10.1063/5.0203931

研究背景

近年來,深度學習技術的快速發展為各個領域帶來了前所未有的變革和創新,成為了多門學科處理複雜且龐大的數據的有效工具。

基於神經網路的方法可以有效地檢測目標資料的相關特徵和潛在模式,但如果深度學習模型直接學習這些來自不同領域、不同格式的相關資料仍存在一定挑戰。 為了解決這個問題,可以使用特徵提取技術。特徵提取技術可以將原始資料轉換成適合特定任務的表示形式。可以使用不同的特徵提取方法,如基於頻域分析的FFT、基於小波轉換的WT等。透過應用這些技術,可以將不同領域、

近年來,結合深度學習技術的研究領域普遍臨著現有資料集的體積小、品質低等問題,影響了模型對於目標任務的學習效果。

在整個「AI for Science」的研究過程中,耗費成本最高的部分主要是資料集的構建,因此,如何更有效地利用現有資料集至關重要。

天津大學團隊經研究證明,在目標頻譜預測過程中向現有資料集添加補充的多頻輸入信息,可以顯著提高網絡的預測準確率。這種方法為深度學習和光子學、複合材料設計和生物醫學等其他領域的跨學科研究和應用提供了新的資料集使用想法。

研究亮點

研究的創新點在於提出了全頻率範圍的光譜資訊拆分思想,表現為結合實際設計需求,將全頻率光譜資訊按照工作頻率部分及非工作頻率部分進行學習任務拆分。

為展示此方案的普適性,工作中將目標工作頻段細化為低頻資訊(0-1 THz)部分和高頻資訊(1-2 THz)部分來展示模型學習的增強效果。

與對此工作頻率範圍資料進行直接預測相比,在補充了其他頻率資訊後,整體的透射光譜資料預測誤差下降了80% 左右,其中基於Transformer 的模型在補充低頻資訊後,預測誤差僅為直接預測的40% 左右,設計的超表面結構與模型架構如圖一所示:

提高光学数据集利用率,天大团队提出增强光谱预测效果 AI 模型

#圖1  (a)-(b)超表面結構示意圖,其中棕色部分代表“1”像素,黃色部分代表“0”像素。 (c) CNN、LSTM、GRU 和 Transformer 網路示意圖,正向網路中,模型的輸入是25*25像素的超表面矩陣,輸出是光學響應,而逆向網路則相反。其中圖中標註的「H」和「L」分別代表高頻和低頻的相關振幅和相位資料。

為更直觀的展示優化後不同工作頻率下振幅及相位參量的預測效果,這裡隨機選取一些超表面結構在CST Studio Suite 軟體中進行仿真演示,如圖二所示:

提高光学数据集利用率,天大团队提出增强光谱预测效果 AI 模型

圖2  優化後高頻和低頻資料的預測效果示意圖。 (a)-(f) 透過將真實資料(紫色實線)與預測資料(黑色虛線)進行比較,證明優化網路模型在不同頻率範圍內的不同預測效能。綠色區域表示用作補充輸入的頻率資訊數據,而黃色區域表示用於驗證最佳化預測性能的區域。其中a和b代表x偏振態高頻和低頻振幅的預測結果。 (c)-(d) y偏振態高頻和低頻振幅的預測結果。 (e)-(f) 高頻和低頻相位的預測結果。

總結與展望

該研究透過對不同光學問題的學習任務進行有針對性的資料集拆分,有效地提高了現有資料集的利用效率,進而提升了深度學習模型的學習效果。

這個最佳化方案有效緩解了現有光學資料集(特別是太赫茲波段的相關資料集)較少的問題,也為更多結合深度學習技術但資料昂貴的研究領域,如複合材料設計、醫學影像分析、金融資料預測等提供了一種對資料集進行最佳化的新視角。

第一作者:邢效華,任玉琪 指導教師:吳亮,熊德意,姚建銣
論文合作者:鄒蝶,張乾坤,毛炳軒
致謝:張霜教授(香港大學)、韓家廣教授在論文工作過程中的幫助。相關研究受國家重點研發計畫、國家自然科學基金等項目支持。
通訊員:張乾坤 史森方

以上是提高光學資料集利用率,天大團隊提出增強光譜預測效果 AI 模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1664
14
CakePHP 教程
1421
52
Laravel 教程
1316
25
PHP教程
1266
29
C# 教程
1239
24
突破傳統缺陷檢測的界限,\'Defect Spectrum\'首次實現超高精度豐富語意的工業缺陷檢測。 突破傳統缺陷檢測的界限,\'Defect Spectrum\'首次實現超高精度豐富語意的工業缺陷檢測。 Jul 26, 2024 pm 05:38 PM

在現代製造業中,精準的缺陷檢測不僅是確保產品品質的關鍵,更是提升生產效率的核心。然而,現有的缺陷檢測資料集常常缺乏實際應用所需的精確度和語意豐富性,導致模型無法辨識特定的缺陷類別或位置。為了解決這個難題,由香港科技大學廣州和思謀科技組成的頂尖研究團隊,創新地開發了「DefectSpectrum」資料集,為工業缺陷提供了詳盡、語義豐富的大規模標註。如表一所示,相較於其他工業資料集,「DefectSpectrum」資料集提供了最多的缺陷標註(5438張缺陷樣本),最細緻的缺陷分類(125個缺陷類別

數百萬晶體資料訓練,解決晶體學相位問題,深度學習方法PhAI登Science 數百萬晶體資料訓練,解決晶體學相位問題,深度學習方法PhAI登Science Aug 08, 2024 pm 09:22 PM

編輯|KX時至今日,晶體學所測定的結構細節和精度,從簡單的金屬到大型膜蛋白,是任何其他方法都無法比擬的。然而,最大的挑戰——所謂的相位問題,仍然是從實驗確定的振幅中檢索相位資訊。丹麥哥本哈根大學研究人員,開發了一種解決晶體相問題的深度學習方法PhAI,利用數百萬人工晶體結構及其相應的合成衍射數據訓練的深度學習神經網絡,可以產生準確的電子密度圖。研究表明,這種基於深度學習的從頭算結構解決方案方法,可以以僅2埃的分辨率解決相位問題,該分辨率僅相當於原子分辨率可用數據的10%到20%,而傳統的從頭算方

英偉達對話模式ChatQA進化到2.0版本,上下文長度提到128K 英偉達對話模式ChatQA進化到2.0版本,上下文長度提到128K Jul 26, 2024 am 08:40 AM

開放LLM社群正是百花齊放、競相爭鳴的時代,你能看到Llama-3-70B-Instruct、QWen2-72B-Instruct、Nemotron-4-340B-Instruct、Mixtral-8x22BInstruct-v0.1等許多表現優良的模型。但是,相較於以GPT-4-Turbo為代表的專有大模型,開放模型在許多領域仍有明顯差距。在通用模型之外,也有一些專精關鍵領域的開放模型已被開發出來,例如用於程式設計和數學的DeepSeek-Coder-V2、用於視覺-語言任務的InternVL

GoogleAI拿下IMO奧數銀牌,數學推理模型AlphaProof面世,強化學習 is so back GoogleAI拿下IMO奧數銀牌,數學推理模型AlphaProof面世,強化學習 is so back Jul 26, 2024 pm 02:40 PM

對AI來說,奧數不再是問題了。本週四,GoogleDeepMind的人工智慧完成了一項壯舉:用AI做出了今年國際數學奧林匹克競賽IMO的真題,並且距拿金牌僅一步之遙。上週剛結束的IMO競賽共有六道賽題,涉及代數、組合學、幾何和數論。谷歌提出的混合AI系統做對了四道,獲得28分,達到了銀牌水準。本月初,UCLA終身教授陶哲軒剛剛宣傳了百萬美元獎金的AI數學奧林匹克競賽(AIMO進步獎),沒想到7月還沒過,AI的做題水平就進步到了這種水平。 IMO上同步做題,做對了最難題IMO是歷史最悠久、規模最大、最負

PRO | 為什麼基於 MoE 的大模型更值得關注? PRO | 為什麼基於 MoE 的大模型更值得關注? Aug 07, 2024 pm 07:08 PM

2023年,幾乎AI的每個領域都在以前所未有的速度進化,同時,AI也不斷地推動著具身智慧、自動駕駛等關鍵賽道的技術邊界。在多模態趨勢下,Transformer作為AI大模型主流架構的局面是否會撼動?為何探索基於MoE(專家混合)架構的大模型成為業界新趨勢?大型視覺模型(LVM)能否成為通用視覺的新突破? ……我們從過去的半年發布的2023年本站PRO會員通訊中,挑選了10份針對以上領域技術趨勢、產業變革進行深入剖析的專題解讀,助您在新的一年裡為大展宏圖做好準備。本篇解讀來自2023年Week50

為大模型提供全新科學複雜問答基準與評估體系,UNSW、阿貢、芝加哥大學等多家機構共同推出SciQAG框架 為大模型提供全新科學複雜問答基準與評估體系,UNSW、阿貢、芝加哥大學等多家機構共同推出SciQAG框架 Jul 25, 2024 am 06:42 AM

編輯|ScienceAI問答(QA)資料集在推動自然語言處理(NLP)研究中發揮著至關重要的作用。高品質QA資料集不僅可以用於微調模型,也可以有效評估大語言模型(LLM)的能力,尤其是針對科學知識的理解和推理能力。儘管目前已有許多科學QA數據集,涵蓋了醫學、化學、生物等領域,但這些數據集仍有一些不足之處。其一,資料形式較為單一,大多數為多項選擇題(multiple-choicequestions),它們易於進行評估,但限制了模型的答案選擇範圍,無法充分測試模型的科學問題解答能力。相比之下,開放式問答

準確率達60.8%,浙大基於Transformer的化學逆合成預測模型,登Nature子刊 準確率達60.8%,浙大基於Transformer的化學逆合成預測模型,登Nature子刊 Aug 06, 2024 pm 07:34 PM

編輯|KX逆合成是藥物發現和有機合成中的關鍵任務,AI越來越多地用於加快這一過程。現有AI方法性能不盡人意,多樣性有限。在實踐中,化學反應通常會引起局部分子變化,反應物和產物之間存在很大重疊。受此啟發,浙江大學侯廷軍團隊提出將單步逆合成預測重新定義為分子串編輯任務,迭代細化目標分子串以產生前驅化合物。並提出了基於編輯的逆合成模型EditRetro,該模型可以實現高品質和多樣化的預測。大量實驗表明,模型在標準基準資料集USPTO-50 K上取得了出色的性能,top-1準確率達到60.8%。

Nature觀點,人工智慧在醫學上的測試一片混亂,該怎麼做? Nature觀點,人工智慧在醫學上的測試一片混亂,該怎麼做? Aug 22, 2024 pm 04:37 PM

編輯|ScienceAI基於有限的臨床數據,數百種醫療演算法已被批准。科學家們正在討論由誰來測試這些工具,以及如何最好地進行測試。 DevinSingh在急診室目睹了一名兒科患者因長時間等待救治而心臟驟停,這促使他探索AI在縮短等待時間中的應用。 Singh利用了SickKids急診室的分診數據,與同事們建立了一系列AI模型,用於提供潛在診斷和推薦測試。一項研究表明,這些模型可以加快22.3%的就診速度,將每位需要進行醫學檢查的患者的結果處理速度加快近3小時。然而,人工智慧演算法在研究中的成功只是驗證此

See all articles