GNN如何建模时空信息?伦敦玛丽女王大学「时空图神经网络」综述,简明阐述时空图神经网络方法
这些强大的算法在过去几年中获得了巨大的兴趣。然而,这种性能是基于静态图结构假设的,这限制了图神经网络在数据随时间变化时的性能。时序图神经网络是考虑时间因素的图神经网络的扩展。
近年来,各种时序图神经网络算法被提出,并在多个时间相关应用中取得了优于其他深度学习算法的性能。本综述讨论了与时空图神经网络相关的有趣主题,包括算法、应用和开放挑战。
论文地址:https://www.php.cn/link/1915523773b16865a73a38acc952ccda
1. 引言
图神经网络(GNN)是一类深度学习模型,专门设计用于处理图结构数据。这些模型利用图拓扑来学习图的节点和边的有意义表示。图神经网络是传统卷积神经网络的扩展,在图分类、节点分类和链接预测等任务中被证明是有效的。GNNs的关键优势之一是,即使在基础图的规模增长时,它们也能保持良好的性能,这是因为可学习参数的数量独立于图中节点的数量。图神经网络(GNN)已被广泛应用于各种领域,如推荐系统、药物发现和生物学以及自治系统中的资源分配。然而,这些模型仅限于静态图数据,其中图结构是固定的。近年来,时变图数据引起了人们越来越多的关注,它出现在各种系统中并携带有价值的时间信息。时变图数据的应用包括多元时间序列数据、社交网络、视听系统等。
为了满足这一需求,出现了一种新的GNN族:时空GNN,通过学习图结构的时间表示,同时考虑了数据的空间和时间维度。本文对最先进的时空图神经网络进行了全面的回顾。本文首先简要概述不同类型的时空图神经网络及其基本假设。更详细地研究了时空GNN中使用的特定算法,同时也为这些模型的分组提供了有用的分类法。本文还概述了时空GNN的各种应用,强调了这些模型已被用于取得最先进结果的关键领域。最后,讨论了该领域面临的挑战和未来的研究方向。总之,本综述旨在对时空图神经网络进行全面和深入的研究,强调该领域的现状、仍然需要解决的关键挑战,以及这些模型令人兴奋的未来可能性。
2. 算法
时空图神经网络从算法角度可分为基于谱的和基于空间的两类。另一个分类类别是引入时变的方法:另一个机器学习算法或在图结构中定义时间。
2.1 混合时空图神经网络
混合时空图神经网络由两个主要组件组成:空间组件和时间组件。在混合时空图神经网络中,利用图神经网络算法对数据中的空间依赖关系进行建模。
2.2 Solo-Graph神经网络
在时空图神经网络中建模时间的另一种方法是在GNN本身中定义时间框架。提出了多种方法,包括:将时间定义为边,将时间作为信号输入到GNN,将时间建模为子图,以及将其他机器学习架构夹在GNN中(图2)。
3. 应用
3.1 多变量时间序列预测
受图神经网络处理关系依赖[10]能力的启发,时空图神经网络被广泛应用于多变量时间序列预测。应用包括流量预测,Covid预测,光伏电力消耗,RSU通信和地震应用。
3.2人物交互
在机器学习和计算机视觉中,时空域学习仍然是一个非常具有挑战性的问题。主要的挑战是如何在大的时空上下文[18]中建模对象和更高层次的概念之间的交互。在这样一个困难的学习任务中,有效地对空间关系、局部外观以及随着时间发生的复杂交互和变化进行建模是至关重要的。[18]引入了一种时空图神经网络模型,在空间和时间上循环,适合捕捉不断变化的世界场景[18]中不同实体和物体的局部外观和复杂的高层交互。
3.3 动态图表示
时序图表示学习一直被认为是图机器学习中一个非常重要的方面[15,31]。针对现有方法依赖时序图的离散快照而不能捕获强大表示的局限性,[3]提出了一种基于时空图神经网络的动态图表示学习方法。此外,[15]如今使用时空GNN动态表示脑图。多目标跟踪视频中的多目标跟踪严重依赖于对目标之间的时空交互进行建模[16]。[16]提出了一种时空图神经网络算法,对对象之间的空间和时间交互进行建模。
3.4 手语翻译
手语采用视觉-手动方式来传达含义,是聋人和重听群体的主要交流工具。为了缩小口语用户和手语用户之间的交流鸿沟,机器学习技术被引入其中。传统上,神经机器翻译被广泛采用,但需要更先进的方法来捕捉手语的空间属性。[13]提出了一种基于时空图神经网络的手语翻译系统,该系统在捕捉手语的时空结构方面具有强大的能力,与传统的神经机器翻译方法[13]相比,取得了最好的性能。
3.5 技术增长排名
了解技术的增长率是技术部门业务战略的核心关键。此外,预测技术的增长速度和相互之间的关系,有助于在产品定义、营销策略和研发方面的商业决策。[32]提出了一种基于时空图神经网络的社交网络技术增长排名预测方法。
4. 结论
图神经网络在过去几年中获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧氏空间。然而,图神经网络限于静态图结构假设,限制了图神经网络在数据随时间变化时的性能。时序图神经网络是考虑时间因素的图神经网络的扩展。本文对时空图神经网络进行了全面的概述。本文提出了一种分类法,基于时变方法将时空图神经网络分为两类。还讨论了时空图神经网络的广泛应用。最后,根据当前时空图神经网络面临的公开挑战,提出了未来的研究方向。
参考资料:https://www.php.cn/link/1915523773b16865a73a38acc952ccda
以上是GNN如何建模时空信息?伦敦玛丽女王大学「时空图神经网络」综述,简明阐述时空图神经网络方法的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

热门话题

BERT是由Google在2018年提出的一种预训练的深度学习语言模型。全称为BidirectionalEncoderRepresentationsfromTransformers,它基于Transformer架构,具有双向编码的特点。相比于传统的单向编码模型,BERT在处理文本时能够同时考虑上下文的信息,因此在自然语言处理任务中表现出色。它的双向性使得BERT能够更好地理解句子中的语义关系,从而提高了模型的表达能力。通过预训练和微调的方法,BERT可以用于各种自然语言处理任务,如情感分析、命名

如今的深度学习方法专注于设计最适合的目标函数,以使模型的预测结果与实际情况最接近。同时,必须设计一个合适的架构,以便为预测获取足够的信息。现有方法忽略了一个事实,即当输入数据经过逐层特征提取和空间变换时,大量信息将会丢失。本文将深入探讨数据通过深度网络传输时的重要问题,即信息瓶颈和可逆函数。基于此提出了可编程梯度信息(PGI)的概念,以应对深度网络实现多目标所需的各种变化。PGI可以为目标任务提供完整的输入信息,以计算目标函数,从而获得可靠的梯度信息以更新网络权重。此外设计了一种新的轻量级网络架

潜在空间嵌入(LatentSpaceEmbedding)是将高维数据映射到低维空间的过程。在机器学习和深度学习领域中,潜在空间嵌入通常是通过神经网络模型将高维输入数据映射为一组低维向量表示,这组向量通常被称为“潜在向量”或“潜在编码”。潜在空间嵌入的目的是捕捉数据中的重要特征,并将其表示为更简洁和可理解的形式。通过潜在空间嵌入,我们可以在低维空间中对数据进行可视化、分类、聚类等操作,从而更好地理解和利用数据。潜在空间嵌入在许多领域中都有广泛的应用,如图像生成、特征提取、降维等。潜在空间嵌入的主要

写在前面今天我们探讨下深度学习技术如何改善在复杂环境中基于视觉的SLAM(同时定位与地图构建)性能。通过将深度特征提取和深度匹配方法相结合,这里介绍了一种多功能的混合视觉SLAM系统,旨在提高在诸如低光条件、动态光照、弱纹理区域和严重抖动等挑战性场景中的适应性。我们的系统支持多种模式,包括拓展单目、立体、单目-惯性以及立体-惯性配置。除此之外,还分析了如何将视觉SLAM与深度学习方法相结合,以启发其他研究。通过在公共数据集和自采样数据上的广泛实验,展示了SL-SLAM在定位精度和跟踪鲁棒性方面优

在当今科技日新月异的浪潮中,人工智能(ArtificialIntelligence,AI)、机器学习(MachineLearning,ML)与深度学习(DeepLearning,DL)如同璀璨星辰,引领着信息技术的新浪潮。这三个词汇频繁出现在各种前沿讨论和实际应用中,但对于许多初涉此领域的探索者来说,它们的具体含义及相互之间的内在联系可能仍笼罩着一层神秘面纱。那让我们先来看看这张图。可以看出,深度学习、机器学习和人工智能之间存在着紧密的关联和递进关系。深度学习是机器学习的一个特定领域,而机器学习

自2006年深度学习概念被提出以来,20年快过去了,深度学习作为人工智能领域的一场革命,已经催生了许多具有影响力的算法。那么,你所认为深度学习的top10算法有哪些呢?以下是我心目中深度学习的顶尖算法,它们在创新性、应用价值和影响力方面都占据重要地位。1、深度神经网络(DNN)背景:深度神经网络(DNN)也叫多层感知机,是最普遍的深度学习算法,发明之初由于算力瓶颈而饱受质疑,直到近些年算力、数据的爆发才迎来突破。DNN是一种神经网络模型,它包含多个隐藏层。在该模型中,每一层将输入传递给下一层,并

论文地址:https://arxiv.org/abs/2307.09283代码地址:https://github.com/THU-MIG/RepViTRepViT在移动端ViT架构中表现出色,展现出显着的优势。接下来,我们将探讨本研究的贡献所在。文中提到,轻量级ViTs通常比轻量级CNNs在视觉任务上表现得更好,这主要归功于它们的多头自注意力模块(MSHA)可以让模型学习全局表示。然而,轻量级ViTs和轻量级CNNs之间的架构差异尚未得到充分研究。在这项研究中,作者们通过整合轻量级ViTs的有效

编辑|萝卜皮自2021年发布强大的AlphaFold2以来,科学家们一直在使用蛋白质结构预测模型来绘制细胞内各种蛋白质结构的图谱、发现药物,并绘制每种已知蛋白质相互作用的「宇宙图」 。就在刚刚,GoogleDeepMind发布了AlphaFold3模型,该模型能够对包括蛋白质、核酸、小分子、离子和修饰残基在内的复合物进行联合结构预测。 AlphaFold3的准确性对比过去许多专用工具(蛋白质-配体相互作用、蛋白质-核酸相互作用、抗体-抗原预测)有显着提高。这表明,在单个统一的深度学习框架内,可以实现
