静态物体检测（SOD），包括交通信号灯、导向牌和交通锥，大多数算法是数据驱动深度神经网络，需要大量的训练数据。现在的做法通常是对大量的训练样本在 LiDAR 扫描的点云数据上进行手动标注，以修复长尾案例。
手动标注难以捕捉真实场景的变异性和复杂性，通常无法考虑遮挡、不同的光照条件和多样的视角（如图1中的黄色箭头）。整个过程链路长、极其耗时、容易出错、成本颇高（如图2）。所以目前公司都寻求自动标注方案，特别是基于纯视觉，毕竟不是每辆车都有激光雷达。
VRSO 是一种以视觉为主、面向静态对象标注的标注系统，主要利用了SFM、2D物体检测和实例分割结果的信息，整体效果：
对于静态物体，VRSO通过实例分割和轮廓提取关键点，解决了从不同视角集成和去重静态对象的挑战，以及由于遮挡问题而导致观察不足的困难，从而提高了标注的准确性。从图1上看，与Waymo Open数据集的手动标注结果相比，VRSO展示了更高的鲁棒性和几何精度。
（都看到这里了，不如大拇指往上滑，点击最上方的卡片关注我，整个操作只会花你 1.328 秒，然后带走未来所有干货，万一有用呢～）
VRSO系统主要分为两部分：场景重建和静态对象标注。
重建部分不是重点，就是基于 SFM 算法来恢复图像 pose 和稀疏的 3D 关键点。
静态对象标注算法，配合伪代码，大致流程是（以下会分步骤详细展开）：
对静态物体的 3D 框参数（位置、方向、大小）进行整个视频剪辑的初始化。SFM 的每个关键点都有准确的3D位置和对应的 2D 图像。对于每个 2D 实例，提取 2D 实例掩码内的特征点。然后，一组对应 3D 关键点可以被视为 3D 边界框的候选。
路牌被表示为在空间中具有方向的矩形，它有6个自由度，包括平移（、、）、方向（θ）和大小（宽度和高度）。考虑到其深度，交通信号灯具有7个自由度。交通锥的表示方式与交通信号灯类似。
通过三角化在3D条件下获取静态物体的初始顶点值。
通过检查在场景重建期间由 SFM 和实例分割获得的3D边界框中的关键点数量，只有关键点数量超过阈值的实例被认为是稳定且有效的观测。对于这些实例，相应的 2D 边界框被视为有效的观测。通过多幅图像的 2D 观测，将 2D边界框顶点进行三角化，以获取边界框的坐标。
对于没有在掩模上区分“左下、左上、右上、右上和右下”顶点的圆形标牌，需要识别这些圆形标牌。使用 2D 检测结果作为圆形物体的观测结果，使用 2D 实例分割掩模进行轮廓提取。通过最小二乘拟合算法计算出中心点和半径。圆形标牌的参数包括中心点（、、）、方向（θ）和半径（）。
跟踪基于 SFM 的特征点匹配。根据 3D 边界框顶点的欧式距离和 2D 边界框投影 IoU 来确定是否合并这些分开的实例。一旦合并完成，实例内的 3D 特征点可以聚集以关联更多的2D特征点。进行迭代2D-3D关联，直到无法添加任何2D特征点为止。
以矩形标牌为例，可优化的参数包括位置（、、）、方向（θ）和大小（、），总共六个自由度。主要步骤包括：
也有一些具有挑战性的长尾案例，例如极低的分辨率和照明不足。
VRSO 框架实现了静态物体高精度和一致的3D标注，紧密集成了检测、分割和 SFM 算法，消除了智能驾驶标注中的人工干预，提供了与基于LiDAR的手动标注相媲美的结果。和被广泛认可的Waymo Open Dataset进行了定性和定量评估：与人工标注相比，速度提高了约16倍，同时保持了最佳的一致性和准确性。
以上是效率狂增16倍！VRSO：纯视觉静态物体3D标注，打通数据闭环！的详细内容。更多信息请关注PHP中文网其他相关文章！
