AI实时解读大脑信号,7倍速还原图像关键视觉特征,LeCun转发
现在,AI已经能实时解读大脑信号了!
这不是耸人听闻,而是Meta的一项新研究,能够凭脑信号猜出你在0.5秒内看的图,并用AI实时还原出来。
在此之前,AI虽然已经能从大脑信号中比较准确地还原图像,但还有个bug——不够快。
为此,Meta研发了一个新解码模型,让AI光是图像检索的速度就提升了7倍,几乎“瞬间”能读出人在看什么,并猜出个大概。
像是一个站立的男人,AI数次还原后,竟然真的解读出了一个“站立的人”出来:
图片
LeCun转发表示,从MEG脑信号中重建视觉等输入的研究,确实很棒。
图片
那么,Meta究竟是怎么让AI“快速读脑”的?
大脑活动解码如何解读?
目前,AI读取大脑信号并还原图像的方法,主要有两种。
其中一种是fMRI(功能性磁共振成像),可以生成流向大脑特定部位的血流图像;另一种是MEG(脑磁图),可以测量脑内神经电流发出的极其微弱的生物磁场信号。
然而,fMRI神经成像的速度往往非常慢,平均2秒才出一张图(≈0.5 Hz),相比之下MEG甚至能在每秒内记录上千次大脑活动图像(≈5000 Hz)。
所以相比fMRI,为什么不用MEG数据来试试还原出“人类看到的图像”呢?
基于这一思路,作者们设计了一个MEG解码模型,由三个部分组成。
第一部分预训练模型,负责从图像中获得embeddings;
第二部分是一个端到端训练模型,负责将MEG数据与图像embeddings对齐;
第三部分是一个预训练图像生成器,负责还原出最终的图像。
图片
训练上,研究人员用了一个名叫THINGS-MEG的数据集,包含了4个年轻人(2男2女,平均23.25岁)观看图像时记录的MEG数据。
这些年轻人一共观看了22448张图像(1854种类型),每张图像显示时间为0.5秒,间隔时间为0.8~1.2秒,其中有200张图片被反复观看。
除此之外,还有3659张图像没有展示给参与者,但也被用于图像检索中。
所以,这样训练出来的AI,效果究竟如何?
图像检索速度提升7倍
整体来看,这项研究设计的MEG解码模型,比线性解码器的图像检索速度提升了7倍。
其中,相比CLIP等模型,又以Meta研发的视觉Transformer架构DINOv2在提取图像特征方面表现更好,更能将MEG数据和图像embeddings对齐起来。
图片
作者们将整体生成的图像分成了三大类,匹配度最高的、中等的和匹配度最差的:
图片
不过,从生成示例中来看,这个AI还原出来的图像效果,确实不算太好。
即使是还原度最高的图像,仍然受到了一些网友的质疑:为什么熊猫看起来完全不像熊猫?
图片
作者表示:至少像黑白熊。(熊猫震怒!)
图片
当然,研究人员也承认,MEG数据复原出来的图像效果,确实目前还不太行,主要优势还是在速度上。
例如之前来自明尼苏达大学等机构的一项名为7T fMRI的研究,就能以较高的复原度从fMRI数据中还原出人眼看到的图像。
图片
无论是人类的冲浪动作、飞机的形状、斑马的颜色、火车的背景,基于fMRI数据训练的AI都能更好地将图像还原出来:
图片
对此,作者们也给出了解释,认为这是因为AI基于MEG还原出来的视觉特征偏高级。
但相比之下,7T fMRI可以提取并还原出图像中更低级的视觉特征,这样生成的图像整体还原度更高。
你觉得这类研究可以被用在哪些地方?
论文地址:
https://www.php.cn/link/f40723ed94042ea9ea36bfb5ad4157b2
以上是AI实时解读大脑信号,7倍速还原图像关键视觉特征,LeCun转发的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

热门话题

DDREASE是一种用于从文件或块设备(如硬盘、SSD、RAM磁盘、CD、DVD和USB存储设备)恢复数据的工具。它将数据从一个块设备复制到另一个块设备,留下损坏的数据块,只移动好的数据块。ddreasue是一种强大的恢复工具,完全自动化,因为它在恢复操作期间不需要任何干扰。此外,由于有了ddasue地图文件,它可以随时停止和恢复。DDREASE的其他主要功能如下:它不会覆盖恢复的数据,但会在迭代恢复的情况下填补空白。但是,如果指示工具显式执行此操作,则可以将其截断。将数据从多个文件或块恢复到单

0.这篇文章干了啥?提出了DepthFM:一个多功能且快速的最先进的生成式单目深度估计模型。除了传统的深度估计任务外,DepthFM还展示了在深度修复等下游任务中的最先进能力。DepthFM效率高,可以在少数推理步骤内合成深度图。下面一起来阅读一下这项工作~1.论文信息标题:DepthFM:FastMonocularDepthEstimationwithFlowMatching作者:MingGui,JohannesS.Fischer,UlrichPrestel,PingchuanMa,Dmytr

如果您需要了解如何在Excel中使用具有多个条件的筛选功能,以下教程将指导您完成相应步骤,确保您可以有效地对数据进行筛选和排序。Excel的筛选功能是非常强大的,能够帮助您从大量数据中提取所需的信息。这个功能可以根据您设定的条件,过滤数据并只显示符合条件的部分,让数据的管理变得更加高效。通过使用筛选功能,您可以快速找到目标数据,节省了查找和整理数据的时间。这个功能不仅可以应用在简单的数据列表上,还可以根据多个条件进行筛选,帮助您更精准地定位所需信息。总的来说,Excel的筛选功能是一个非常实用的

谷歌力推的JAX在最近的基准测试中性能已经超过Pytorch和TensorFlow,7项指标排名第一。而且测试并不是在JAX性能表现最好的TPU上完成的。虽然现在在开发者中,Pytorch依然比Tensorflow更受欢迎。但未来,也许有更多的大模型会基于JAX平台进行训练和运行。模型最近,Keras团队为三个后端(TensorFlow、JAX、PyTorch)与原生PyTorch实现以及搭配TensorFlow的Keras2进行了基准测试。首先,他们为生成式和非生成式人工智能任务选择了一组主流

在iPhone上面临滞后,缓慢的移动数据连接?通常,手机上蜂窝互联网的强度取决于几个因素,例如区域、蜂窝网络类型、漫游类型等。您可以采取一些措施来获得更快、更可靠的蜂窝互联网连接。修复1–强制重启iPhone有时,强制重启设备只会重置许多内容,包括蜂窝网络连接。步骤1–只需按一次音量调高键并松开即可。接下来,按降低音量键并再次释放它。步骤2–该过程的下一部分是按住右侧的按钮。让iPhone完成重启。启用蜂窝数据并检查网络速度。再次检查修复2–更改数据模式虽然5G提供了更好的网络速度,但在信号较弱

哭死啊,全球狂炼大模型,一互联网的数据不够用,根本不够用。训练模型搞得跟《饥饿游戏》似的,全球AI研究者,都在苦恼怎么才能喂饱这群数据大胃王。尤其在多模态任务中,这一问题尤为突出。一筹莫展之际,来自人大系的初创团队,用自家的新模型,率先在国内把“模型生成数据自己喂自己”变成了现实。而且还是理解侧和生成侧双管齐下,两侧都能生成高质量、多模态的新数据,对模型本身进行数据反哺。模型是啥?中关村论坛上刚刚露面的多模态大模型Awaker1.0。团队是谁?智子引擎。由人大高瓴人工智能学院博士生高一钊创立,高

最近,军事圈被这个消息刷屏了:美军的战斗机,已经能由AI完成全自动空战了。是的,就在最近,美军的AI战斗机首次公开,揭开了神秘面纱。这架战斗机的全名是可变稳定性飞行模拟器测试飞机(VISTA),由美空军部长亲自搭乘,模拟了一对一的空战。5月2日,美国空军部长FrankKendall在Edwards空军基地驾驶X-62AVISTA升空注意,在一小时的飞行中,所有飞行动作都由AI自主完成!Kendall表示——在过去的几十年中,我们一直在思考自主空对空作战的无限潜力,但它始终显得遥不可及。然而如今,

这周,由OpenAI、微软、贝佐斯和英伟达投资的机器人公司FigureAI宣布获得接近7亿美元的融资,计划在未来一年内研发出可独立行走的人形机器人。而特斯拉的擎天柱也屡屡传出好消息。没人怀疑,今年会是人形机器人爆发的一年。一家位于加拿大的机器人公司SanctuaryAI最近发布了一款全新的人形机器人Phoenix。官方号称它能以和人类一样的速率自主完成很多工作。世界上第一台能以人类速度自主完成任务的机器人Pheonix可以轻轻地抓取、移动并优雅地将每个对象放置在它的左右两侧。它能够自主识别物体的
