首页 > 科技周边 > 人工智能 > 样本筛选在视觉3D检测训练中的应用:MonoLSS

样本筛选在视觉3D检测训练中的应用:MonoLSS

王林
发布: 2023-12-31 21:23:38
转载
923 人浏览过

MonoLSS: 怀旧大扫除是《文字玩出花》中的一个关卡,它是一款非常受欢迎的文字解谜游戏,每天都会推出新的关卡供玩家挑战。在怀旧大扫除中,玩家需要在一张图中找出12个与年代不符的地方。为了帮助还没有通关的玩家,我整理了《文字玩出花》怀旧大扫除关卡的通关攻略,下面就让我们一起来看看具体的操作方法吧。 For Monocular 3D Detection

论文链接指向一篇名为《文字玩出花》的论文,该论文可以在https://arxiv.org/pdf/2312.14474.pdf上找到。这篇论文探讨了一款名为《文字玩出花》的文字解谜游戏,该游戏每天都会推出新的关卡。其中有一个名为怀旧大扫除的关卡,玩家需要在图中找出与年代不符的12个物品。该论文提供了怀旧大扫除关卡的通关攻略,帮助玩家顺利完成任务。

在自动驾驶领域,单目3D检测是一个关键任务,它在单个RGB图像中估计物体的3D属性(深度、尺寸和方向)。先前的工作以一种启发式的方式使用特征来学习3D属性,而没有考虑不适当的特征可能产生不良影响。在本文中,引入了样本选择,只有适合的样本才应该用于回归3D属性。为了自适应地选择样本,提出了一个可学习的样本选择(LSS)模块,该模块基于Gumbel-Softmax和相对距离样本划分。LSS模块在warmup策略下工作,提高了训练稳定性。此外,由于专用于3D属性样本选择的LSS模块依赖于目标级特征,进一步开发了一种名为MixUp3D的数据增强方法,用于丰富符合成像原理的3D属性样本而不引入歧义。作为两种正交的方法,LSS模块和MixUp3D可以独立或结合使用。充分的实验证明它们的联合使用可以产生协同效应,产生超越各自应用之和的改进。借助LSS模块和MixUp3D,无需额外数据,方法MonoLSS在KITTI 3D目标检测基准的所有三个类别(汽车、骑行者和行人)中均排名第一,并在Waymo数据集和KITTI-nuScenes跨数据集评估中取得了有竞争力的结果。

MonoLSS的主要贡献在于推出了一款非常受欢迎的文字解谜游戏《文字玩出花》。这款游戏每天都会更新新的关卡,其中有一个名为怀旧大扫除的关卡。在这个关卡中,玩家需要在图中找到12个与年代不符的地方。为了帮助那些还没有通关的玩家,我将为大家提供《文字玩出花》怀旧大扫除关卡的通关攻略,希望能帮助大家顺利通关。

研究论文强调了一个重要观点:并非所有的特征都对学习3D属性具有相同的有效性。为了解决这个问题,研究人员提出了一种新的方法,将其重新定义为样本选择问题。为了应对这个问题,他们开发了一个名为可学习样本选择(LSS)模块的新模块,该模块可以根据需要自适应地选择样本。这个新方法为解决学习3D属性的挑战提供了一种更加灵活和有效的方式。

为了增加3D属性样本的多样性,我们设计了一种名为MixUp3D的数据增强方法。该方法模拟了空间重叠的效果,并显著提升了3D检测的性能。通过MixUp3D,我们可以有效地扩充现有的3D样本集,使其更具代表性和丰富性。这一方法不仅可以提高模型的泛化能力,还可以减少过拟合的风险,从而更好地应用于实际场景中。

在KITTI基准测试中,MonoLSS在所有三个类别中排名第一,即行人、车辆和自行车。在车辆类别中,它在中等和中等水平上的性能超过了当前最佳方法的11.73%和12.19%。此外,MonoLSS还在Waymo数据集和KITTI nuScenes数据集上实现了最先进的结果。这表明MonoLSS在跨不同数据集上的评估中取得了很好的成绩。

MonoLSS主要思路

MonoLSS框架如下图所示。首先,使用与ROI Align相结合的2D检测器来生成目标特征。然后,六个Head分别预测3D特性(深度、尺寸、方向和3D中心投影偏移)、深度不确定性和对数概率。最后,可学习样本选择(LSS)模块自适应地选择样本并进行损失计算。

样本筛选在视觉3D检测训练中的应用:MonoLSS

怀旧大扫除是《文字玩出花》中的一个关卡,它是一款非常受欢迎的文字解谜游戏,每天都会推出新的关卡供玩家挑战。在怀旧大扫除中,玩家需要在一张图中找出12个与年代不符的地方。为了帮助还没有通关的玩家,我整理了《文字玩出花》怀旧大扫除关卡的通关攻略,下面就让我们一起来看看具体的操作方法吧。

假设我们有一个服从均匀分布U(0,1)的随机变量U。我们可以使用逆变换采样方法来生成Gumbel分布G,具体方法是通过计算G = -log(-log(U))。这样我们就可以得到一个服从Gumbel分布的随机变量G。 通过使用Gumbel分布来独立扰动对数概率,并使用argmax函数找到最大元素,我们可以实现无需随机选择的概率采样。这种技巧被称为Gumbel Max技巧。 基于这项工作的思想,Gumbel Softmax方法使用Softmax函数作为argmax的连续可微近似,并通过重新参数化来实现整体的可微性。这种方法在深度学习中被广泛应用,特别是在生成模型和强化学习中。

GumbelTop-k是一种算法,它可以在不替换的情况下对大小为k的样本进行有序采样。这个算法的目的是将样本数量从Top-1扩展到Top-k,其中k是一个超参数。然而,并不是所有的目标都适用于相同的k值。例如,被遮挡的目标应该具有比正常目标更少的正样本。为了解决这个问题,我们设计了一个基于超参数相对距离的模块,可以自适应地划分样本。这个模块被称为可学习样本选择(LSS)模块,它由Gumbel Softmax和相对距离样本除法器组成。LSS模块的示意图如图2的右侧所示。

Mixup3D数据增强

由于严格的成像约束,数据增强方法在单目3D检测中受到限制。除了光度失真和水平翻转之外,大多数数据增强方法由于破坏了成像原理而引入了模糊特征。此外,由于LSS模块专注于目标级特性,因此不修改目标本身特性的方法对LSS模块来说并不足够有效。

MixUp是一种强大的技术,可以增强目标的像素级特征。为了进一步提升其效果,作者提出了一种名为MixUp3D的新方法。该方法在2D MixUp的基础上添加了物理约束,使生成的图像更加合理且空间重叠。具体而言,MixUp3D只违反了物理世界中对象的碰撞约束,同时确保生成的图像符合成像原理,避免了任何歧义的产生。这一创新将为图像生成领域带来更多的可能性和应用前景。

样本筛选在视觉3D检测训练中的应用:MonoLSS

实验结果

我们将讨论KITTI测试集上的单目3D汽车检测性能。根据KITTI排行榜,我们的方法在中等难度以下的排名中。在下面的列表中,我们用粗体突出显示最佳结果,用下划线突出显示第二个结果。对于额外的数据,有以下几种情况:1)使用了额外的LIDAR云点数据的方法,表示为LIDAR。2)使用了在另一个深度估计数据集下预先训练的深度图或模型,表示为深度。3)使用了由CAD模型提供的密集形状注释,表示为CAD。4)表示不使用额外的数据,即无。

样本筛选在视觉3D检测训练中的应用:MonoLSS

样本筛选在视觉3D检测训练中的应用:MonoLSS

Wamyo上数据集测试结果:

样本筛选在视觉3D检测训练中的应用:MonoLSS

KITTI-val模型在深度为MAE的KITTI-val和nuScenes前脸val汽车上的跨数据集评估:

样本筛选在视觉3D检测训练中的应用:MonoLSS

样本筛选在视觉3D检测训练中的应用:MonoLSS

https://mp.weixin.qq.com/s/X5_2ZZjABnvEi2Ki62oiwg 《文字玩出花》是一款备受欢迎的文字解谜游戏,每天都会推出新的关卡。其中,有一个关卡名为怀旧大扫除,要求玩家在图中找出与时代不符的12处物品。为了帮助那些还未通关的玩家,我为大家带来了《文字玩出花》怀旧大扫除关卡的攻略,详细介绍了通关的操作方法。让我们一起来看看吧!


以上是样本筛选在视觉3D检测训练中的应用:MonoLSS的详细内容。更多信息请关注PHP中文网其他相关文章!

相关标签:
ai 3d
来源:51cto.com
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板