DifFlow3D: 장면 흐름 추정을 위한 새로운 SOTA, 확산 모델이 또 다른 성공을 거두었습니다!

원제: DifFlow3D: Toward Robust Uncertainty-Aware Scene Flow Estimation with Iterative Diffusion-Based Refinement

논문 링크: https://arxiv.org/pdf/2311.17456.pdf

코드 링크: https://github. com/IRMVLab/DifFlow3D

저자 소속: Shanghai Jiao Tong University Cambridge University Zhejiang University Intelligent Robot

제목 아이디어:

장면 흐름 추정은 동적 장면에서 각 지점의 3D 변위 변화를 예측하는 것을 목표로 합니다. 컴퓨터 비전 분야의 기본 작업입니다. 그러나 이전 연구에서는 지역적으로 제한된 검색 범위로 인해 신뢰할 수 없는 상관 관계가 발생하고 거친 구조에서 미세한 구조까지 부정확성이 누적되는 경우가 많습니다. 이러한 문제를 완화하기 위해 본 논문에서는 확산 확률 모델을 채택한 새로운 불확실성 인식 장면 흐름 추정 네트워크(DifFlow3D)를 제안합니다. 반복적 확산 기반 개선은 상관 관계의 견고성을 강화하고 어려운 상황(예: 역학, 잡음이 있는 입력, 반복 패턴 등)에 대한 강력한 적응성을 갖도록 설계되었습니다. 생성의 다양성을 제한하기 위해 세 가지 주요 흐름 관련 기능이 확산 모델의 조건으로 활용됩니다. 또한 본 논문에서는 추정된 장면 흐름의 신뢰성을 평가하기 위해 확산의 불확실성 추정 모듈을 개발합니다. 이 기사의 DifFlow3D는 FlyingThings3D 및 KITTI 2015 데이터 세트에서 각각 3차원 끝점 오류(EPE3D)를 6.7% 및 19.1% 감소시키고 KITTI 데이터 세트에서 전례 없는 밀리미터 수준의 정확도(EPE3D의 경우 0.0089미터)를 달성합니다. 또한 확산 기반 개선 패러다임은 플러그 앤 플레이 모듈로 기존 장면 흐름 네트워크에 쉽게 통합되어 추정 정확도를 크게 향상시킬 수 있습니다.

주요 기여:

강력한 장면 흐름 추정을 달성하기 위해 본 연구에서는 새로운 플러그 앤 플레이 확산 기반 개선 프로세스를 제안합니다. 우리가 아는 한, 장면 흐름 작업에 확산 확률 모델이 적용된 것은 이번이 처음입니다.

저자는 생성된 결과의 다양성을 제어하기 위한 효과적인 조건부 안내 방법을 설계하기 위해 조잡한 흐름 임베딩, 기하학적 인코딩, 교차 프레임 비용 볼륨과 같은 기술을 결합합니다.

본 논문에서 흐름의 신뢰성을 평가하고 부정확한 점 일치를 식별하기 위해 저자는 확산 모델의 각 점에 대한 불확실성 추정도 도입했습니다.

연구 결과에 따르면 이 기사에서 제안한 방법은 FlyingThings3D 및 KITTI 데이터 세트에서 기존의 다른 방법보다 우수한 성능을 발휘하는 것으로 나타났습니다. 특히 DifFlow3D는 KITTI 데이터세트에서 처음으로 밀리미터 수준의 끝점 오류(EPE3D)를 달성했습니다. 이전 연구와 비교하여 우리의 방법은 시끄러운 입력 및 동적 변화와 같은 어려운 상황을 처리하는 데 더 강력합니다.

네트워크 디자인:

컴퓨터 비전의 기본 작업인 장면 흐름은 연속적인 이미지나 포인트 클라우드로부터 3차원 모션 필드를 추정하는 것을 의미합니다. 이는 동적 장면에 대한 낮은 수준의 인식을 위한 정보를 제공하며 자율 주행[21], 자세 추정[9] 및 모션 분할[1]과 같은 다양한 다운스트림 애플리케이션을 가지고 있습니다. 초기 작업은 스테레오[12] 또는 RGB-D 이미지[10]를 입력으로 사용하는 데 중점을 두었습니다. LiDAR와 같은 3D 센서의 인기가 높아짐에 따라 최근 작업에서는 포인트 클라우드를 직접 입력으로 사용하는 경우가 많습니다.

선구적인 작업인 FlowNet3D[16]는 PointNet++[25]를 사용하여 계층적 특징을 추출한 다음 반복적으로 장면 흐름을 회귀합니다. PointPWC[42]는 피라미드, 변형 및 비용 볼륨 구조[31]를 통해 이를 더욱 개선합니다. HALFlow [35]는 이를 따르고 더 나은 흐름 임베딩을 위한 주의 메커니즘을 도입합니다. 그러나 이러한 회귀 기반 작업은 종종 신뢰할 수 없는 상관 관계와 로컬 최적 문제로 어려움을 겪습니다 [17]. 두 가지 주된 이유가 있습니다: (1) 네트워크에서 KNN(최근접 이웃)을 사용하여 점 대응을 검색합니다. 이는 정확하지만 먼 점 쌍을 고려하지 않으며 일치하는 노이즈도 있습니다[7]. (2) 또 다른 잠재적인 문제는 이전 연구[16, 35, 36, 42]에서 널리 사용된 거친 미세 구조에서 비롯됩니다. 기본적으로 초기 흐름은 가장 거친 레이어에서 추정된 다음 더 높은 해상도로 반복적으로 정제됩니다. 그러나 흐름 개선의 성능은 초기 거친 흐름의 신뢰성에 크게 의존합니다. 왜냐하면 후속 개선은 일반적으로 초기화 주변의 작은 공간 범위로 제한되기 때문입니다.

신뢰성 문제를 해결하기 위해 3DFlow[36]는 올투올 포인트 수집 모듈을 설계하고 역검증을 추가했습니다. 마찬가지로 Bi-PointFlowNet[4]과 그 확장 MSBRN[5]은 순방향-역방향 상관 관계가 있는 양방향 네트워크를 제안합니다. IHNet [38]은 고해상도 부트스트래핑 및 리샘플링 방식을 갖춘 순환 네트워크를 활용합니다. 그러나 이러한 네트워크의 대부분은 양방향 상관 관계 또는 루프 반복으로 인해 계산 비용이 발생합니다. 이 논문에서는 확산 모델이 노이즈 제거 특성(그림 1 참조) 덕분에 상관 관계의 신뢰성과 노이즈 일치에 대한 탄력성을 향상시킬 수도 있음을 발견했습니다. 무작위 노이즈를 주입하면 로컬 최적 상태에서 벗어나는 데 도움이 된다는 [30]의 발견에서 영감을 받아 이 논문은 그림 2와 같이 확률적 확산 모델을 사용하여 결정적 흐름 회귀 작업을 재구성합니다. 또한, 우리의 방법은 이전 장면 흐름 네트워크를 제공하기 위한 플러그 앤 플레이 모듈로 사용될 수 있으며, 이는 보다 일반적이고 계산 비용이 거의 추가되지 않습니다(섹션 4.5).

그러나 이 문서의 작업에서 생성 모델을 활용하는 것은 확산 모델의 고유한 생성적 다양성으로 인해 매우 어렵습니다. 다양한 출력 샘플이 필요한 포인트 클라우드 생성 작업과 달리 장면 흐름 예측은 정확한 포인트별 모션 벡터를 계산하는 결정론적 작업입니다. 이 문제를 해결하기 위해 본 논문에서는 강력한 조건 정보를 활용하여 다양성을 제한하고 생성된 흐름을 효과적으로 제어합니다. 구체적으로는 대략적인 희소 장면 흐름을 먼저 초기화한 후 확산을 통해 반복적으로 흐름 잔차를 생성합니다. 각 확산 기반 정제 레이어에서는 거친 흐름 임베딩, 비용 볼륨 및 기하학적 인코딩을 조건으로 활용합니다. 이 경우 조건부 입력에서 스트림 잔차로의 확률적 매핑을 실제로 학습하기 위해 확산이 적용됩니다.

또한 장면 흐름 추정의 신뢰도와 신뢰성을 탐구한 이전 연구는 거의 없습니다. 그러나 그림 1에서 볼 수 있듯이 조밀한 흐름 매칭은 소음, 동적 변화, 작은 물체 및 반복되는 패턴이 있는 경우 오류가 발생하기 쉽습니다. 따라서 각각의 추정점 대응이 신뢰할 수 있는지 여부를 아는 것이 매우 중요합니다. 최근 광학 흐름 작업에서 불확실성 추정의 성공에 영감을 받아 이 논문은 장면 흐름 추정의 신뢰성을 평가하기 위해 확산 모델의 점별 불확실성을 제안합니다.

사진 3. DifFlow3D의 전체 구조. 이 문서에서는 먼저 하단 레이어에서 대략적인 희소 장면 흐름을 초기화합니다. 그런 다음 반복적 확산 개선 레이어를 흐름 관련 조건부 신호와 함께 사용하여 더 조밀한 흐름 잔차를 복구합니다. 본 논문에서 추정된 흐름의 신뢰성을 평가하기 위해 각 지점의 불확실성도 장면 흐름과 함께 예측됩니다.

사진 2. 장면 흐름 추정을 위해 이 문서에서 사용된 확산 프로세스의 개략도입니다.

사진 4. 불확실성을 시각화합니다. 훈련 과정에서 이 기사에서 설계한 불확실성 구간은 점차 줄어들어 예측 흐름이 실제 값에 더 가까워지도록 촉진합니다.

실험 결과:

그림 1. 어려운 상황에서의 비교. DifFlow3D는 (a) 동적 변화, (b) 시끄러운 입력, (c) 작은 객체 및 (d) ) 반복 패턴에 더욱 강력한 확산 모델을 사용하여 불확실성을 인식하는 장면 흐름을 예측합니다.

그림 5. 확산 기반 장면 흐름 개선(DSFR)이 있거나 없는 시각화 결과.

사진 6. 입력 지점에 임의의 가우스 노이즈를 추가합니다.

사진 7. 훈련 과정에서 불확실성의 역할. 이 논문에서는 다양한 훈련 단계(10번째 및 100번째 에포크)에서 불확실성 간격을 시각화합니다.

요약:

본 논문은 추정 불확실성을 인식하는 확산 기반 장면 흐름 개선 네트워크를 혁신적으로 제안합니다. 본 논문에서는 세밀하고 조밀한 흐름 잔차를 생성하기 위해 다중 규모 확산 개선을 채택했습니다. 추정의 견고성을 향상시키기 위해 본 논문에서는 장면 흐름과 함께 생성된 점별 불확실성도 도입합니다. 광범위한 실험을 통해 DifFlow3D의 우수성과 일반화 기능이 입증되었습니다. 본 논문의 확산 기반 개선은 플러그 앤 플레이 모듈로 이전 연구에 적용할 수 있으며 향후 연구에 새로운 시사점을 제공할 수 있다는 점은 주목할 가치가 있습니다.

인용:

Liu J, Wang G, Ye W, et al. DifFlow3D: 확산 모델을 사용한 강력한 불확실성 인식 장면 흐름 추정을 향하여[J] arXiv 사전 인쇄 arXiv:2311.17456, 2023.

위 내용은 DifFlow3D: 장면 흐름 추정을 위한 새로운 SOTA, 확산 모델이 또 다른 성공을 거두었습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!