XJTLU와 리버풀 대학교 제안: 포인트 클라우드 데이터 향상에 대한 최초의 포괄적인 검토-일체 포함-php.cn

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

본 논문의 첫 번째 저자인 Zhu Qinfeng은 Xi'an Jiaotong-Liverpool University와 공동 교육을 받은 1년차 박사 과정 후보자입니다. 리버풀 대학교이며 그의 지도교수는 판 레이(Fan Lei) 부교수입니다. 그의 주요 연구 방향은 의미론적 분할, 다중 모드 정보 융합, 3D 비전, 초분광 이미지 및 데이터 향상입니다. 본 연구그룹에서는 24/25급 박사과정 학생을 모집하고 있습니다. 이메일 문의를 환영합니다.

이메일: qinfeng.zhu21@student.xjtlu.edu.cn

홈페이지: https://zhuqinfeng1999.github.io/

이 글은 최고의 저널인 Pattern에 대한 리뷰입니다. 패턴 인식 분야의 Recognition 2024 최신 리뷰 논문: "딥 러닝을 위한 포인트 클라우드 데이터 증강의 발전: 설문조사" 해석.

이 논문은 Xi'an Jiaotong-Liverpool University의 Zhu Qinfeng, Fan Lei 및 Weng Ningxin이 작성했습니다.

본 리뷰는 최초로 포인트 클라우드 데이터 향상 관련 연구 작업을 종합적으로 요약한 것입니다.

딥 러닝은 탐지, 세분화, 분류와 같은 포인트 클라우드 분석 작업을 위한 주류이자 효과적인 방법 중 하나가 되었습니다. 딥 러닝 모델을 훈련하는 동안 과적합을 줄이고, 특히 훈련 데이터의 양이나 다양성이 제한되어 있을 때 모델 성능을 향상시키려면 데이터 확대가 핵심인 경우가 많습니다. 다양한 포인트 클라우드 데이터 증대 방법이 다양한 포인트 클라우드 처리 작업에서 널리 사용되었지만 이러한 방법에 대한 체계적인 검토나 논의는 아직 발표되지 않았습니다.

따라서 본 논문에서는 이러한 방법을 조사하고 기본 및 특정 포인트 클라우드 데이터 증대 방법을 포함하는 분류 프레임워크로 분류합니다. 이러한 향상 방법에 대한 포괄적인 평가를 통해 이 문서는 잠재력과 한계를 식별하고 적절한 향상 방법을 선택하는 데 유용한 참고 자료를 제공합니다.

또한 이 기사에서는 향후 연구의 잠재적인 방향을 탐구합니다. 이 설문조사는 포인트 클라우드 데이터 증강에 대한 현재 연구에 대한 포괄적인 개요를 제공하고 더 폭넓은 적용 및 개발을 촉진하는 데 도움이 됩니다.

무료 접속: https://authors.elsevier.com/c/1j3TW77nKoLGM

arXiv: https://arxiv.org/pdf/2308.12113

저자 홈페이지: https://zhuqinfeng1999.github.io 그림 1. 포인트 클라우드 데이터 향상 방법의 분류.

포인트 클라우드 데이터 증강

딥 러닝 분야에서는 사용 가능한 훈련 데이터 세트가 제한적일 때 데이터 증강이 자주 사용됩니다. 여기에는 원본 데이터를 수정하거나 확장하기 위한 특정 일련의 작업을 수행하여 데이터 세트의 크기와 다양성을 늘리는 작업이 포함됩니다.

고품질의 증강 데이터 세트는 네트워크의 견고성을 향상하고 일반화 기능을 향상하며 과적합을 줄이는 데 도움이 되므로 딥 러닝 네트워크를 훈련할 때 데이터 증강은 거의 항상 이상적인 선택으로 간주됩니다. 이미지 데이터 향상 및 텍스트 데이터 향상 분야에서 포괄적인 발전이 관찰되었습니다.

포인트 클라우드 처리 작업에 관해 최근 발표된 수많은 연구 논문에서 연구자들은 포인트 클라우드 데이터를 향상시키는 다양한 방법을 탐구했습니다. 이러한 방법의 범위가 넓기 때문에 연구자가 적절한 방법을 선택하는 데 어려움을 겪습니다. 따라서 이러한 방법을 체계적으로 조사하고 이를 여러 그룹으로 분류하는 것은 큰 가치가 있습니다.

이 백서는 포인트 클라우드 데이터 증대 방법에 대한 포괄적인 조사를 제공합니다.

우리는 설문 조사를 바탕으로 그림 1과 같이 이러한 향상 방법의 분류 시스템을 제안합니다.

향상 방법은 기본 포인트 클라우드 향상과 특정 포인트 클라우드 향상의 두 가지 주요 범주로 나눌 수 있으며 이는 이미지 향상의 일반적인 분류 방법과 유사합니다.

기본 포인트 클라우드 보강은 설문 조사 문헌의 다른 방법과 결합하여 널리 사용되는 것으로 입증된 것처럼 다양한 작업 및 애플리케이션 컨텍스트에서 개념적으로 단순하고 보편적인 방법을 의미합니다.

특정 포인트 클라우드 향상은 일반적으로 특정 과제를 해결하거나 특정 응용 프로그램 환경에 대응하기 위해 개발된 방법을 말합니다. 대부분의 경우 특정 포인트 클라우드 향상은 향상 방법의 구현 세부 사항에 따라 기본 향상보다 계산적으로 더 복잡합니다. 제안된 분류 시스템의 하위 범주는 문헌에서 포인트 클라우드 데이터 향상에 사용되었거나 포인트 클라우드 데이터 향상에 사용될 가능성이 있는 다양한 방법의 요약을 나타냅니다.

이 리뷰의 주요 기여는 다음과 같습니다.

이 리뷰는 포인트 클라우드 데이터 향상의 최신 발전 사항을 다루면서 포인트 클라우드 데이터 향상 방법을 종합적으로 조사하기 위한 첫 번째 리뷰입니다. 개선 작업의 특성을 기반으로 포인트 클라우드 데이터 개선 방법의 분류 시스템을 제안합니다.
이 연구에서는 다양한 포인트 클라우드 데이터 증대 방법을 요약하고 감지, 분할, 분류 등 일반적인 포인트 클라우드 처리 작업에 적용하는 방법을 논의하고 잠재적인 향후 연구에 대한 제안을 제공합니다.

기본 포인트 클라우드 향상

아핀 변환에는 공선성과 거리 규모를 유지하는 아핀 공간 변환이 포함됩니다. 이미지 데이터 향상에서 일반적으로 사용되는 아핀 변환 방법에는 크기 조정, 이동, 회전, 뒤집기 및 전단이 포함됩니다. 마찬가지로, 아핀 변환은 포인트 클라우드 데이터 증대에도 적용될 수 있습니다. 대표적인 방법으로는 평행이동(translation), 회전(rotation), 뒤집기(flipping), 크기 조정(scaling) 등이 있으며, 이러한 방법은 추가적인 새로운 학습 데이터를 생성하는 데 널리 사용되었습니다.

이 작업은 전체 포인트 클라우드 데이터 세트에 적용되거나 특정 전략을 사용하여 포인트 클라우드 데이터에서 선택된 인스턴스(인스턴스는 그림 2(a)에 표시된 차량과 같은 의미 개체를 참조)에 적용되거나 선택한 인스턴스의 특정 부분.

그러나 아핀 변환으로 강화된 데이터는 정보 손실이나 불합리한 의미론의 문제에 직면할 수 있습니다. 이러한 아핀 변환에 대한 구체적인 작업과 논의는 논문에 자세히 설명되어 있습니다. 그림 2. 모방 변환을 통해 포인트 클라우드 데이터를 향상시키는 예: (a) 원본 포인트 클라우드 데이터, (b) 전환 차량, (C) 회전 차량, (D) 확대/축소 차량, (e) 장면 뒤집기.

Discard Enhancement는 그림 3과 같이 포인트 클라우드 데이터의 일부 데이터 포인트를 삭제하는 것을 의미합니다. 제거 지점 선택은 특정 전략에 따라 결정됩니다. 폐기된 포인트는 전체 포인트 클라우드 데이터의 일부일 수도 있고 장면에서 무작위로 선택된 포인트일 수도 있습니다. 드롭아웃 증강은 가려졌거나 부분적으로 보이는 장면을 나타내는 누락되거나 불완전한 데이터에 대해 딥 러닝 모델을 더욱 강력하게 만드는 데 도움이 됩니다.

또한 딥 러닝 모델이 교육 데이터 세트의 특정 데이터 포인트에 너무 의존하는 것을 방지합니다. 그러나 과도하거나 중요한 포인트 클라우드 정보가 손실되면 훈련 데이터에서 실제 객체가 비현실적으로 표현될 수 있으며 딥 러닝 모델의 훈련에 영향을 미칠 수 있습니다. 드롭아웃 강화에 기반한 다양한 방법과 논의가 논문에 자세히 설명되어 있습니다.弃 그림 3. 강화 강화의 예: (A) 원본 포인트 클라우드 데이터, (b) 무작위로 강화 포인트 클라우드 삭제, (C) 강화 포인트 클라우드 일부 삭제.

지터는 그림 4와 같이 포인트 클라우드의 단일 포인트 위치에 작은 섭동이나 노이즈를 적용하는 것을 의미합니다. 지터 강화에 기반한 다양한 방법과 논의가 논문에 자세히 설명되어 있습니다.

XJTLU와 리버풀 대학교 제안: 포인트 클라우드 데이터 향상에 대한 최초의 포괄적인 검토

그림 4. 판단 강화 예: (a) 원본 포인트 클라우드 데이터, (b) 지터로 강화된 포인트 클라우드 데이터.

야외 자율 주행 장면과 같은 장면 수준 포인트 클라우드 데이터 세트에서는 일반적으로 레이블이 지정된 인스턴스가 제한됩니다. 이 경우 GT-샘플링은 간단하고 효과적인 데이터 증대 방법이 됩니다.

GT-샘플링은 그림 5에 표시된 것처럼 레이블이 지정된 인스턴스를 교육 데이터 세트에 추가하는 작업을 의미하며 레이블이 지정된 GT 인스턴스는 동일한 교육 데이터 세트 또는 다른 데이터 세트에서 나옵니다. GT-샘플링은 일반적으로 장면 수준 포인트 클라우드 데이터 세트에 적합하지만 ShapeNet과 같은 인스턴스 수준 포인트 클라우드 데이터 세트는 일반적으로 고려되지 않습니다. GT 샘플링 향상을 기반으로 한 다양한 방법과 논의가 논문에 자세히 설명되어 있습니다. ㅋㅋ . (b) 의미상 불합리한 GT 샘플링, 한 대의 자동차는 건물 벽 안에 있고 다른 한 대는 나무 안에 있습니다.

이 기사에서는 패치 기반 전략, 자동 최적화 전략 등 기본적인 포인트 클라우드 데이터 향상 방법에 적용되는 전략도 소개합니다(그림 6 참조). 이 기사에서는 표 1과 같이 일반적인 기본 포인트 클라우드 향상 방법을 요약합니다. 그림 6. 자동 최적화의 일반적인 프로세스.

XJTLU와 리버풀 대학교 제안: 포인트 클라우드 데이터 향상에 대한 최초의 포괄적인 검토

^{특정 포인트 클라우드 향상}

XJTLU와 리버풀 대학교 제안: 포인트 클라우드 데이터 향상에 대한 최초의 포괄적인 검토

특정 포인트 클라우드 향상 방법은 일반적으로 특정 문제 또는 애플리케이션 시나리오를 해결하기 위해 설계됩니다. 특정 포인트 클라우드 향상에는 혼합 향상, 도메인 향상, 적대적 변형 향상, 업샘플링 향상, 완성 향상, 생성 향상, 다중 모드 향상 등이 포함됩니다.

이러한 특정 향상 방법에 대한 구체적인 정의와 논의는 본문에 자세히 나와 있습니다. 표 2는 대표적인 특정 강화 방법의 개발 개요를 제공하고 다양한 정보를 제공합니다. 표 2. 대표적인 특정 포인트 클라우드 개선 방법.

표 3과 같이 현재 일부 적대적 변형, 업샘플링, 완성 및 생성 기술이 포인트 클라우드 데이터 향상에 직접 적용되지 않는다는 점에 유의해야 합니다. 특정 방법을 포괄적으로 분류하기 위해 이러한 잠재적인 방법도 이 문서에 포함되고 논의됩니다. 표 3. 잠재적인 특정 포인트 클라우드 개선 방법.

Discussion

XJTLU와 리버풀 대학교 제안: 포인트 클라우드 데이터 향상에 대한 최초의 포괄적인 검토

논문에서는 포인트 클라우드 데이터 향상 방법의 적용 가능한 작업과 시나리오를 자세히 논의하고 일관성 학습에서 포인트 클라우드 데이터 향상의 역할을 지적합니다. 그림 7과 같은.

^{그림 7. (a) 기존의 딥 러닝 훈련, 훈련을 위해 원본 데이터와 강화된 데이터를 딥 러닝 네트워크로 전송하고 훈련된 모델 획득 (b) 입력 지점을 수정하기 위해 다양한 향상 방법을 사용하는 일관성 학습 클라우드 데이터는 변환되어 여러 증강 변수를 생성한 다음 일관된 학습을 위해 여러 네트워크에 공급되어 훈련 중에 일관된 예측을 수행합니다.}

표 4는 데이터 향상 전후의 정량적 평가에 관한 문헌을 정리하여 데이터 향상의 효과를 보여줍니다. 다양한 증강 방법 비교의 또 다른 부분으로 부록(자세한 내용은 논문 참조)에서는 증강된 포인트 클라우드 데이터를 사용하는 다운스트림 작업의 정량적 성능과 이러한 작업에 사용되는 증강 방법에 대한 개요도 제공합니다. ㅋㅋㅋ 표 4. 의제 보고 결과 향상된 모델 성능에 대한 클라우드 데이터 향상.

향후 작업

연구팀은 이 분야의 추가 연구를 위한 9가지 가능한 방향을 지적했습니다. 굴림 뒤틀림, 데이터 증대를 위한 업샘플링, 완성 및 생성. GAN 및 확산 모델의 발전을 고려하면 이러한 모델을 사용하여 현실적이고 다양한 포인트 클라우드 인스턴스를 생성할 수 있습니다. 향후 연구에서는 특정 포인트 클라우드 처리 작업에 대한 벤치마크 데이터세트에 대한 이러한 방법을 평가하여 증강 기술로서의 효율성을 평가해야 합니다.

현재 다양한 포인트 클라우드 처리 작업에 대한 포인트 클라우드 데이터 증대 방법의 성능을 평가하기 위해 일관된 기본 네트워크 및 데이터 세트를 사용하는 연구는 거의 없습니다. 이러한 평가는 다양한 증강 방법의 성능에 대한 이해를 향상시킬 것입니다. 따라서 향후 연구 노력은 포인트 클라우드 데이터 증강 방법의 효과와 딥 러닝 모델 성능에 미치는 영향을 평가하기 위해 새로운 방법, 지표 및/또는 데이터 세트를 확립하는 데 중점을 둘 수 있습니다.

일부 특정 증강 방법은 대규모 포인트 클라우드 데이터 세트에 적용할 때 계산 비용이 많이 들 수 있습니다. 향후 작업은 계산 비용과 향상된 효율성을 절충하는 효율적인 알고리즘을 개발하는 데 집중할 수 있습니다. 또한 일부 특정 포인트 클라우드 향상 방법은 상대적으로 복잡하고 재현하기 어렵습니다. 광범위한 채택을 촉진하려면 플러그 앤 플레이 접근 방식을 개발하는 것이 좋습니다.

포인트 클라우드 데이터 향상의 경우 보편적으로 허용되는 기본 향상 작업 조합이 부족합니다. 따라서 증강 효율성을 희생하지 않고 다양한 애플리케이션 도메인, 작업 및/또는 데이터 세트에 대한 증강 작업을 선택하기 위한 표준 프로토콜을 확립하려면 향후 작업이 필요합니다.

증강을 통해 생성된 여러 포인트 클라우드 변형은 일관성 학습의 효율성에 영향을 미칩니다. 현재 우리가 아는 한 일관성 학습에는 기본적인 부스팅 방법만 사용됩니다. 적대적 변형 및 생성적 향상과 같은 특정 포인트 클라우드 향상 방법을 탐색하는 것은 일관성 학습의 효율성을 향상시키는 흥미로운 방법을 제공하며 귀중한 미래 연구 방향으로 간주됩니다.

현재 기본 포인트 클라우드 향상 방법과 특정 포인트 클라우드 향상 방법을 결합하는 연구는 제한적입니다. 이러한 조합은 데이터 증대의 다양성을 더욱 높일 수 있는 잠재력을 갖고 있으며 향후 연구를 수행할 가치가 있습니다.

증강은 시뮬레이션된 데이터가 실제 상황과 일치하고 의미론적으로 유지되도록 객체 크기, 위치, 방향, 모양 및 환경의 변화와 같은 포인트 클라우드 데이터의 변화를 현실적으로 시뮬레이션해야 합니다. 옳은. 향후 연구에서는 특정 응용 시나리오에 맞게 다양한 향상 범위를 표준화하는 방법을 살펴볼 수 있습니다.

타겟 감지와 같은 일부 애플리케이션에는 장면에 동적 개체가 포함될 수 있습니다. 동적 환경에서 캡처된 포인트 클라우드에는 객체의 시간적 변화를 고려하는 특정 개선 전략이 필요할 수 있습니다. 예를 들어, 움직이는 객체의 특정 궤적을 설계할 수 있으며, 이는 변환, 회전 및 폐기와 같은 일련의 결합된 향상 작업을 통해 달성될 수 있습니다.

ViT는 기본 연산을 간단히 결합함으로써 분할 및 분류 작업에서도 강력한 성능을 발휘합니다. 백본 네트워크로서 최첨단 ViT와 통합될 때 향상된 방법의 성능을 탐색하는 것은 의미가 있을 것입니다.

참고 자료:

[1] Qinfeng Zhu , Lei Fan , Ningxin Weng , Advancements in Point
^{Deep을 위한 클라우드 데이터 증강 학습: 설문조사, 패턴 인식(2024), doi:}
https://doi.org/10.1016/j.patcog.2024.110532