首页 科技周边 人工智能 提高光学数据集利用率,天大团队提出增强光谱预测效果 AI 模型

提高光学数据集利用率,天大团队提出增强光谱预测效果 AI 模型

Jun 06, 2024 pm 12:09 PM
理论

提高光学数据集利用率,天大团队提出增强光谱预测效果 AI 模型

编辑 | 枯叶蝶

最近,天津大学激光与光电子研究所吴亮副教授、姚建铨院士团队联合自然语言处理实验室熊德意教授团队报道了一种使用多频率补充输入的深度学习模型来增强光谱预测效果的方案。这种方案通过使用多频率的输入数据,可以提高光谱预测的准确性。此外,该方案还能够减少在光谱预测过程中的噪声干扰,从而提高预测效果。

该方案可以提高现有光学数据集的利用率,在不额外增加训练成本的基础上,增强了与超表面结构对应的光谱响应的预测效果。

相关研究成果以「Enhanced spectrum prediction using deep learning models with multi-frequency supplementary inputs」为题,于 2024 年 5月16 日发表在《APL Machine Learning》。

提高光学数据集利用率,天大团队提出增强光谱预测效果 AI 模型

论文链接:https://doi.org/10.1063/5.0203931

研究背景

近年来,深度学习技术的快速发展为各个领域带来了前所未有的变革和创新,成为了多门学科处理复杂且庞大的数据的有效工具。

基于神经网络的方法可以有效地检测目标数据的相关特征和潜在模式,但如果深度学习模型直接学习这些来自不同领域、不同格式的相关数据仍存在一定挑战。 为了解决这个问题,可以使用特征提取技术。特征提取技术可以将原始数据转换成适合特定任务的表示形式。可以使用不同的特征提取方法,如基于频域分析的FFT、基于小波变换的WT等。通过应用这些技术,可以将不同领域、

近年来,结合深度学习技术的研究领域普遍临着现有数据集的体量小、质量低等问题,影响了模型对于目标任务的学习效果。

在整个「AI for Science」的研究过程中,耗费成本最高的部分主要是数据集的构建,因此,如何更有效地利用现有数据集至关重要。

天津大学团队经研究证明,在目标频谱预测过程中向现有数据集添加补充的多频输入信息,可以显著提高网络的预测准确率。这种方法为深度学习和光子学、复合材料设计和生物医学等其他领域的跨学科研究和应用提供了新的数据集使用思路。

研究亮点

研究的创新点在于提出了全频率范围的光谱信息拆分思想,表现为结合实际设计需求,将全频率光谱信息按照工作频率部分及非工作频率部分进行学习任务拆分。

为展示该方案的普适性,工作中将目标工作频段细化为低频信息 (0-1 THz)部分和高频信息 (1-2 THz)部分来演示模型学习的增强效果。

与对该工作频率范围数据进行直接预测相比,在补充了其他频率信息后,整体的透射光谱数据预测误差下降了 80% 左右,其中基于 Transformer 的模型在补充低频信息后,预测误差仅为直接预测的 40% 左右,设计的超表面结构和模型架构如图一所示:

提高光学数据集利用率,天大团队提出增强光谱预测效果 AI 模型

图1  (a)-(b) 超表面结构示意图,其中棕色部分代表「1」像素,黄色部分代表「0」像素。(c) CNN、LSTM、GRU 和 Transformer 网络示意图,正向网络中,模型的输入是25*25像素的超表面矩阵,输出是光学响应,而逆向网络则相反。其中图中标注的「H」和「L」分别代表高频和低频的相关振幅和相位数据。

为更直观的展示优化后不同工作频率下振幅及相位参量的预测效果,这里随机选取一些超表面结构在 CST Studio Suite 软件中进行仿真演示,如图二所示:

提高光学数据集利用率,天大团队提出增强光谱预测效果 AI 模型

图2  优化后高频和低频数据的预测效果示意图。(a)-(f) 通过将真实数据(紫色实线)与预测数据(黑色虚线)进行比较,证明优化网络模型在不同频率范围内的不同预测性能。绿色区域表示用作补充输入的频率信息数据,而黄色区域表示用于验证优化预测性能的区域。其中a和b代表x偏振态高频和低频振幅的预测结果。(c)-(d) y偏振态高频和低频振幅的预测结果。(e)-(f) 高频和低频相位的预测结果。

总结与展望

该研究通过对不同光学问题的学习任务进行有针对性的数据集拆分,有效地提高了现有数据集的利用效率,进而提升了深度学习模型的学习效果。

这一优化方案有效缓解了现有光学数据集(特别是太赫兹波段的相关数据集)较少的问题,也为更多结合深度学习技术但数据昂贵的研究领域,如复合材料设计、医学影像分析、金融数据预测等提供了一种对数据集进行优化的新视角。

第一作者:邢效华,任玉琪  指导教师:吴亮,熊德意,姚建铨
论文合作者:邹蝶,张乾坤,毛炳轩
致谢:张霜教授(香港大学)、韩家广教授在论文工作过程中的帮助。相关研究受到国家重点研发计划、国家自然科学基金等项目支持。
通讯员:张乾坤 史森方

以上是提高光学数据集利用率,天大团队提出增强光谱预测效果 AI 模型的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

<🎜>:泡泡胶模拟器无穷大 - 如何获取和使用皇家钥匙
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
北端:融合系统,解释
4 周前 By 尊渡假赌尊渡假赌尊渡假赌
Mandragora:巫婆树的耳语 - 如何解锁抓钩
3 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

热门话题

Java教程
1670
14
CakePHP 教程
1428
52
Laravel 教程
1329
25
PHP教程
1273
29
C# 教程
1256
24
突破传统缺陷检测的界限,\'Defect Spectrum\'首次实现超高精度丰富语义的工业缺陷检测。 突破传统缺陷检测的界限,\'Defect Spectrum\'首次实现超高精度丰富语义的工业缺陷检测。 Jul 26, 2024 pm 05:38 PM

在现代制造业中,精准的缺陷检测不仅是保证产品质量的关键,更是提升生产效率的核心。然而,现有的缺陷检测数据集常常缺乏实际应用所需的精确度和语义丰富性,导致模型无法识别具体的缺陷类别或位置。为了解决这一难题,由香港科技大学广州和思谋科技组成的顶尖研究团队,创新性地开发出了“DefectSpectrum”数据集,为工业缺陷提供了详尽、语义丰富的大规模标注。如表一所示,相比其他工业数据集,“DefectSpectrum”数据集提供了最多的缺陷标注(5438张缺陷样本),最细致的缺陷分类(125种缺陷类别

数百万晶体数据训练,解决晶体学相位问题,深度学习方法PhAI登Science 数百万晶体数据训练,解决晶体学相位问题,深度学习方法PhAI登Science Aug 08, 2024 pm 09:22 PM

编辑|KX时至今日,晶体学所测定的结构细节和精度,从简单的金属到大型膜蛋白,是任何其他方法都无法比拟的。然而,最大的挑战——所谓的相位问题,仍然是从实验确定的振幅中检索相位信息。丹麦哥本哈根大学研究人员,开发了一种解决晶体相问题的深度学习方法PhAI,利用数百万人工晶体结构及其相应的合成衍射数据训练的深度学习神经网络,可以生成准确的电子密度图。研究表明,这种基于深度学习的从头算结构解决方案方法,可以以仅2埃的分辨率解决相位问题,该分辨率仅相当于原子分辨率可用数据的10%到20%,而传统的从头算方

英伟达对话模型ChatQA进化到2.0版本,上下文长度提到128K 英伟达对话模型ChatQA进化到2.0版本,上下文长度提到128K Jul 26, 2024 am 08:40 AM

开放LLM社区正是百花齐放、竞相争鸣的时代,你能看到Llama-3-70B-Instruct、QWen2-72B-Instruct、Nemotron-4-340B-Instruct、Mixtral-8x22BInstruct-v0.1等许多表现优良的模型。但是,相比于以GPT-4-Turbo为代表的专有大模型,开放模型在很多领域依然还有明显差距。在通用模型之外,也有一些专精关键领域的开放模型已被开发出来,比如用于编程和数学的DeepSeek-Coder-V2、用于视觉-语言任务的InternVL

谷歌AI拿下IMO奥数银牌,数学推理模型AlphaProof面世,强化学习 is so back 谷歌AI拿下IMO奥数银牌,数学推理模型AlphaProof面世,强化学习 is so back Jul 26, 2024 pm 02:40 PM

对于AI来说,奥数不再是问题了。本周四,谷歌DeepMind的人工智能完成了一项壮举:用AI做出了今年国际数学奥林匹克竞赛IMO的真题,并且距拿金牌仅一步之遥。上周刚刚结束的IMO竞赛共有六道赛题,涉及代数、组合学、几何和数论。谷歌提出的混合AI系统做对了四道,获得28分,达到了银牌水平。本月初,UCLA终身教授陶哲轩刚刚宣传了百万美元奖金的AI数学奥林匹克竞赛(AIMO进步奖),没想到7月还没过,AI的做题水平就进步到了这种水平。IMO上同步做题,做对了最难题IMO是历史最悠久、规模最大、最负

PRO | 为什么基于 MoE 的大模型更值得关注? PRO | 为什么基于 MoE 的大模型更值得关注? Aug 07, 2024 pm 07:08 PM

2023年,几乎AI的每个领域都在以前所未有的速度进化,同时,AI也在不断地推动着具身智能、自动驾驶等关键赛道的技术边界。多模态趋势下,Transformer作为AI大模型主流架构的局面是否会撼动?为何探索基于MoE(专家混合)架构的大模型成为业内新趋势?大型视觉模型(LVM)能否成为通用视觉的新突破?...我们从过去的半年发布的2023年本站PRO会员通讯中,挑选了10份针对以上领域技术趋势、产业变革进行深入剖析的专题解读,助您在新的一年里为大展宏图做好准备。本篇解读来自2023年Week50

为大模型提供全新科学复杂问答基准与测评体系,UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架 为大模型提供全新科学复杂问答基准与测评体系,UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架 Jul 25, 2024 am 06:42 AM

编辑|ScienceAI问答(QA)数据集在推动自然语言处理(NLP)研究发挥着至关重要的作用。高质量QA数据集不仅可以用于微调模型,也可以有效评估大语言模型(LLM)的能力,尤其是针对科学知识的理解和推理能力。尽管当前已有许多科学QA数据集,涵盖了医学、化学、生物等领域,但这些数据集仍存在一些不足。其一,数据形式较为单一,大多数为多项选择题(multiple-choicequestions),它们易于进行评估,但限制了模型的答案选择范围,无法充分测试模型的科学问题解答能力。相比之下,开放式问答

准确率达60.8%,浙大基于Transformer的化学逆合成预测模型,登Nature子刊 准确率达60.8%,浙大基于Transformer的化学逆合成预测模型,登Nature子刊 Aug 06, 2024 pm 07:34 PM

编辑|KX逆合成是药物发现和有机合成中的一项关键任务,AI越来越多地用于加快这一过程。现有AI方法性能不尽人意,多样性有限。在实践中,化学反应通常会引起局部分子变化,反应物和产物之间存在很大重叠。受此启发,浙江大学侯廷军团队提出将单步逆合成预测重新定义为分子串编辑任务,迭代细化目标分子串以生成前体化合物。并提出了基于编辑的逆合成模型EditRetro,该模型可以实现高质量和多样化的预测。大量实验表明,模型在标准基准数据集USPTO-50 K上取得了出色的性能,top-1准确率达到60.8%。

Nature观点,人工智能在医学中的测试一片混乱,应该怎么做? Nature观点,人工智能在医学中的测试一片混乱,应该怎么做? Aug 22, 2024 pm 04:37 PM

编辑|ScienceAI基于有限的临床数据,数百种医疗算法已被批准。科学家们正在讨论由谁来测试这些工具,以及如何最好地进行测试。DevinSingh在急诊室目睹了一名儿科患者因长时间等待救治而心脏骤停,这促使他探索AI在缩短等待时间中的应用。Singh利用了SickKids急诊室的分诊数据,与同事们建立了一系列AI模型,用于提供潜在诊断和推荐测试。一项研究表明,这些模型可以加快22.3%的就诊速度,将每位需要进行医学检查的患者的结果处理速度加快近3小时。然而,人工智能算法在研究中的成功只是验证此

See all articles