YOLO不死!YOLOv9出炉:性能速度SOTA~
如今的深度学习方法专注于设计最适合的目标函数,以使模型的预测结果与实际情况最接近。同时,必须设计一个合适的架构,以便为预测获取足够的信息。现有方法忽略了一个事实,即当输入数据经过逐层特征提取和空间变换时,大量信息将会丢失。本文将深入探讨数据通过深度网络传输时的重要问题,即信息瓶颈和可逆函数。基于此提出了可编程梯度信息(PGI)的概念,以应对深度网络实现多目标所需的各种变化。 PGI可以为目标任务提供完整的输入信息,以计算目标函数,从而获得可靠的梯度信息以更新网络权重。此外设计了一种新的轻量级网络架构——基于梯度路径规划的广义高效层聚合网络(GELAN)。
验证结果表明,GELAN架构在轻量级模型上通过PGI获得了显着优势。在MS COCO数据集上的实验显示,GELAN结合PGI仅利用传统卷积算子就能实现比基于深度卷积的最先进方法更出色的参数利用率。 PGI的通用性使其适用于各种模型,从轻量级到大型模型都适用。通过PGI,模型能够充分获取信息,因此使用从头开始训练的模型可能比基于大型数据集预训练的最先进模型获得更好的结果。
文章地址:https://arxiv.org/pdf/2402.13616
代码链接:https://github.com/WongKinYiu/yolov9
优秀的性能
根据MS COCO数据集上的实时目标检测器比较结果显示,基于GELAN和PGI的目标检测方法在目标检测性能方面明显领先于以往的从头开始训练的方法。新方法在准确性方面表现优于依赖大型数据集预训练的RT DETR,并且在参数利用方面也优于基于深度卷积设计的YOLO MS。这些结果表明,GELAN和PGI方法在目标检测领域具有潜在的优势,并且可能成为未来研究和应用中的重要技术选择。
本文贡献
- 从可逆函数的角度理论分析了现有的深度神经网络架构,通过这一过程,成功解释了过去难以解释的许多现象。还基于这一分析设计了PGI和辅助可逆分支,并取得了优秀的结果。
- 设计的PGI解决了深度监督只能用于极深的神经网络架构的问题,从而使得新的轻量级架构真正能够应用于日常工作。
- 设计的GELAN仅使用传统卷积就能实现比基于最先进技术的深度卷积设计更高的参数使用率,同时表现出轻巧、快速和准确的巨大优势。
- 将所提出的PGI和GELAN结合起来,YOLOv9在MS COCO数据集上的目标检测性能在各个方面都大大超过了现有的实时目标检测器。
方法
PGI及相关的网络架构和方法
如下图所示,(a) 路径聚合网络(PAN),(b) 可逆列(RevCol),(c) 传统的深度监督,以及(d) YOLOv9提出的可编程梯度信息(PGI)。
PGI主要由三个组成部分组成:
- 主分支:用于推理的架构;
- 辅助可逆分支:生成可靠的梯度以供主分支向后传输;
- 多级辅助信息:控制主分支学习可规划的多级语义信息。
GELAN的架构
如下图所示,(a) CSPNet ,(b) ELAN,以及 (c) YOLOv9提出的GELAN。模仿了CSPNet,并将ELAN扩展为GELAN,可以支持任何计算块。
结果对比
与现有技术的比较
下表列出了YOLOv9与其他从头开始训练的实时目标检测器的比较。总体而言,在现有方法中表现最佳的方法是轻量级模型的YOLO MS-S,中等模型的YOLO MS ,通用模型的YOLOv7 AF,以及大型模型的YOLOv8-X。与轻量级和中等模型的YOLO MS相比,YOLOv9的参数减少约10%,计算减少5∼15%,但在AP方面仍有0.4∼0.6%的改善。与YOLOv7 AF相比,YOLOv9-C的参数减少了42%,计算减少了21%,但达到了相同的AP(53%)。与YOLOv8-X相比,YOLOv9-X的参数减少了15%,计算减少了25%,并且AP有显着提高,提高了1.7%。上述比较结果表明,YOLOv9在各个方面都比现有方法有了显着改进。
与最先进的实时目标检测器进行比较
参与比较的方法都使用ImageNet作为预训练权重,包括RT DETR 、RTMDet 和PP-YOLOE等。使用从头开始训练方法的YOLOv9显然超过了其他方法的性能。
可视化结果
特征图(可视化结果): 由PlainNet、ResNet、CSPNet和GELAN在不同深度上的随机初始权重输出。在100层后,ResNet开始产生足够混淆目标信息的前馈输出。这里提出的GELAN在第150层仍然可以保留相当完整的信息,并且在第200层仍然具有足够的区分能力。
GELAN和YOLOv9(GELAN + PGI)的PAN特征图(可视化结果):在进行一轮偏置预热后。GELAN最初存在一些分歧,但在添加了PGI的可逆分支后,它更能够集中注意力于目标对象。
不同网络架构的随机初始权重输出特征图的可视化结果: (a)输入图像,(b)PlainNet,(c)ResNet,(d)CSPNet 和(e)提出的 GELAN。从图中可以看出,在不同的架构中,提供给目标函数计算损失的信息程度不同,而我们的架构可以保留最完整的信息,并为计算目标函数提供最可靠的梯度信息。
结论
本文提出使用PGI来解决信息瓶颈问题以及深度监督机制不适用于轻量级神经网络的问题。设计了GELAN,这是一个高效且轻量级的神经网络。在目标检测方面,GELAN在不同的计算模块和深度设置下表现出强大而稳定的性能。它确实可以广泛扩展为适用于各种推断设备的模型。针对上述两个问题,引入PGI使得轻量级模型和深度模型都能在准确性方面取得显著改善。通过结合PGI和GELAN设计的YOLOv9表现出了强大的竞争力。其优秀的设计使得深度模型在与YOLOv8相比,参数数量减少了49%,计算量减少了43%,但在MS COCO数据集上仍然实现了0.6%的AP改善。
原文链接:https://mp.weixin.qq.com/s/nP4JzVwn1S-MeKAzbf97uw
以上是YOLO不死!YOLOv9出炉:性能速度SOTA~的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

热门话题

如今的深度学习方法专注于设计最适合的目标函数,以使模型的预测结果与实际情况最接近。同时,必须设计一个合适的架构,以便为预测获取足够的信息。现有方法忽略了一个事实,即当输入数据经过逐层特征提取和空间变换时,大量信息将会丢失。本文将深入探讨数据通过深度网络传输时的重要问题,即信息瓶颈和可逆函数。基于此提出了可编程梯度信息(PGI)的概念,以应对深度网络实现多目标所需的各种变化。PGI可以为目标任务提供完整的输入信息,以计算目标函数,从而获得可靠的梯度信息以更新网络权重。此外设计了一种新的轻量级网络架

近年来,图神经网络(GNN)取得了快速、令人难以置信的进展。图神经网络又称为图深度学习、图表征学习(图表示学习)或几何深度学习,是机器学习特别是深度学习领域增长最快的研究课题。本次分享的题目为《GNN的基础、前沿和应用》,主要介绍由吴凌飞、崔鹏、裴健、赵亮几位学者牵头编撰的综合性书籍《图神经网络基础、前沿与应用》中的大致内容。一、图神经网络的介绍1、为什么要研究图?图是一种描述和建模复杂系统的通用语言。图本身并不复杂,它主要由边和结点构成。我们可以用结点表示任何我们想要建模的物体,可以用边表示两

当前主流的AI芯片主要分为三类,GPU、FPGA、ASIC。GPU、FPGA均是前期较为成熟的芯片架构,属于通用型芯片。ASIC属于为AI特定场景定制的芯片。行业内已经确认CPU不适用于AI计算,但是在AI应用领域也是必不可少。 GPU方案GPU与CPU的架构对比CPU遵循的是冯·诺依曼架构,其核心是存储程序/数据、串行顺序执行。因此CPU的架构中需要大量的空间去放置存储单元(Cache)和控制单元(Control),相比之下计算单元(ALU)只占据了很小的一部分,所以CPU在进行大规模并行计算

在我的世界(Minecraft)中,红石是一种非常重要的物品。它是游戏中的一种独特材料,开关、红石火把和红石块等能对导线或物体提供类似电流的能量。红石电路可以为你建造用于控制或激活其他机械的结构,其本身既可以被设计为用于响应玩家的手动激活,也可以反复输出信号或者响应非玩家引发的变化,如生物移动、物品掉落、植物生长、日夜更替等等。因此,在我的世界中,红石能够控制的机械类别极其多,小到简单机械如自动门、光开关和频闪电源,大到占地巨大的电梯、自动农场、小游戏平台甚至游戏内建的计算机。近日,B站UP主@

当风大到可以把伞吹坏的程度,无人机却稳稳当当,就像这样:御风飞行是空中飞行的一部分,从大的层面来讲,当飞行员驾驶飞机着陆时,风速可能会给他们带来挑战;从小的层面来讲,阵风也会影响无人机的飞行。目前来看,无人机要么在受控条件下飞行,无风;要么由人类使用遥控器操作。无人机被研究者控制在开阔的天空中编队飞行,但这些飞行通常是在理想的条件和环境下进行的。然而,要想让无人机自主执行必要但日常的任务,例如运送包裹,无人机必须能够实时适应风况。为了让无人机在风中飞行时具有更好的机动性,来自加州理工学院的一组工

今天给大家分享一个行人属性分析系统。从视频或者相机的视频流中能识别行人,并标记每个人的属性。识别的属性包括以下10类有些类别有多个属性,如果身体朝向有:正面、侧面和背面,所以,最终训练的属性有26个。实现这样的系统需要3个步骤:用YOlOv5识别行人用ByteTrack跟踪标记同一个人训练多标签图像分类网络,识别行人26个属性1.行人识别与追踪行人识别使用YOLOv5目标检测模型,可以自己训练模型,也可以直接使用YOLOv5预训练好的模型。行人追踪使用的是多目标跟踪技术(MOT

面向视觉任务(如图像分类)的深度学习模型,通常用来自单一视觉域(如自然图像或计算机生成的图像)的数据进行端到端的训练。一般情况下,一个为多个领域完成视觉任务的应用程序需要为每个单独的领域建立多个模型,分别独立训练,不同领域之间不共享数据,在推理时,每个模型将处理特定领域的输入数据。即使是面向不同领域,这些模型之间的早期层的有些特征都是相似的,所以,对这些模型进行联合训练的效率更高。这能减少延迟和功耗,降低存储每个模型参数的内存成本,这种方法被称为多领域学习(MDL)。此外,MDL模型也可以优于单

论文地址:https://arxiv.org/abs/2307.09283代码地址:https://github.com/THU-MIG/RepViTRepViT在移动端ViT架构中表现出色,展现出显着的优势。接下来,我们将探讨本研究的贡献所在。文中提到,轻量级ViTs通常比轻量级CNNs在视觉任务上表现得更好,这主要归功于它们的多头自注意力模块(MSHA)可以让模型学习全局表示。然而,轻量级ViTs和轻量级CNNs之间的架构差异尚未得到充分研究。在这项研究中,作者们通过整合轻量级ViTs的有效
