Faster R-CNN 및 DETR보다 우수한 첫 번째 타겟 감지 확산 모델은 무작위 프레임에서 직접 감지합니다.

Diffusion Model은 Deep Generation 모델의 새로운 SOTA로서 GAN과 같은 이미지 생성 작업에서 원본 SOTA를 능가했으며 컴퓨터 비전, NLP, 분자 그래픽 모델링, 시간 등 많은 응용 분야에서 탁월한 성능을 발휘합니다. 시리즈 모델링 등

최근 홍콩 대학의 Luo Ping 팀과 Tencent AI Lab의 연구원들은 확산 모델을 표적 탐지에 적용하는 새로운 프레임워크 DiffusionDet을 공동으로 제안했습니다. 우리가 아는 한, 확산 모델을 표적 탐지에 성공적으로 적용할 수 있는 연구는 없습니다. 이는 확산 모델을 표적 탐지에 사용한 최초의 연구라고 할 수 있습니다.

DiffusionDet의 성능은 어떤가요? 단일 샘플링 단계에서 ResNet-50을 백본으로 사용하여 MS-COCO 데이터 세트에서 평가한 DiffusionDet은 Faster R-CNN(40.2 AP), DETR(42.0 AP)보다 훨씬 우수하고 Sparse와 비교할 수 있는 45.5 AP를 달성합니다. R-CNN(45.0 AP)은 동일합니다. 샘플링 단계 수를 늘려 DiffusionDet 성능이 46.2 AP로 더욱 향상되었습니다. 또한 DiffusionDet은 LVIS 데이터세트에서도 좋은 성능을 발휘하여 스윙 베이스를 백본으로 사용하여 42.1 AP를 달성했습니다.

• 논문 주소: https://arxiv.org/pdf/2211.09788.pdf
• 프로젝트 주소 https://github.com/ShoufaChen/DiffusionDet

연구에 따르면 기존 객체 감지에는 결함이 있습니다. 즉, 고정된 학습 가능한 쿼리 세트에 의존한다는 것입니다. 그런 다음 연구자들은 학습 가능한 쿼리가 필요하지 않은 객체 감지를 수행하는 간단한 방법이 있는지 궁금해했습니다.

이 질문에 답하기 위해 본 논문에서는 무작위 상자 세트에서 직접 대상을 감지할 수 있는 프레임워크인 DiffusionDet을 제안합니다. 이는 노이즈 상자에서 대상 상자까지의 노이즈 제거 확산 프로세스로 대상 감지를 공식화합니다. 이 노이즈-투-박스 접근 방식에는 경험적 타겟 사전 설정이나 학습 가능한 쿼리가 필요하지 않으므로 타겟 후보가 더욱 단순화되고 탐지 파이프라인이 향상됩니다.

아래 그림 1에서 볼 수 있듯이, 본 연구에서는 노이즈-박스 패러다임이 노이즈 제거 확산 모델의 노이즈-이미지 프로세스와 유사하다고 믿습니다. 후자는 우도 기반 모델의 일종입니다. 학습된 노이즈 모델은 이미지의 노이즈를 점차적으로 제거하여 이미지를 생성합니다.

DiffusionDet은 확산 모델을 통해 대상 감지 작업을 해결합니다. 즉, 감지는 이미지 내 경계 상자의 위치(중심 좌표)와 크기(너비 및 높이)에서 생성 작업으로 간주됩니다. . 학습 단계에서는 분산 테이블(일정)에 의해 제어되는 가우스 잡음을 Ground Truth 상자에 추가하여 잡음 상자를 얻습니다. 그런 다음 이러한 노이즈 상자는 백본 인코더(예: ResNet, Swin Transformer)의 출력 특징 맵에서 관심 영역(RoI)을 자르는 데 사용됩니다. 마지막으로 이러한 RoI 기능은 잡음 없이 Ground Truth Box를 예측하도록 훈련된 탐지 디코더로 전송됩니다. 추론 단계에서 DiffusionDet은 학습된 확산 프로세스를 반전하여 경계 상자를 생성합니다. 이는 경계 상자의 학습된 분포에 대한 노이즈 사전 분포를 조정합니다.

방법 개요

확산 모델은 데이터 샘플을 반복적으로 생성하므로 추론 단계에서 f_θ 모델을 여러 번 실행해야 합니다. 그러나 각 반복 단계에서 원본 이미지에 f_θ를 직접 적용하는 것은 계산상 어렵습니다. 따라서 연구자들은 전체 모델을 이미지 인코더와 검출 디코더의 두 부분으로 나눌 것을 제안했습니다. 전자는 원래 입력 이미지에서 깊이 특징 표현을 추출하기 위해 한 번만 실행되고 z_t에서 상자 예측을 점진적으로 개선합니다.

이미지 인코더는 원본 이미지를 입력으로 사용하고 감지 디코더를 위한 상위 수준 기능을 추출합니다. 연구원들은 ResNet과 같은 컨볼루셔널 신경망과 Swin과 같은 Transformer 기반 모델을 사용하여 DiffusionDet을 구현합니다. 한편, 기능 피라미드 네트워크는 ResNet 및 Swin 백본 네트워크에 대한 다중 규모 기능 맵을 생성하는 데 사용됩니다.

검출 디코더는 Sparse R-CNN을 차용하여 제안 상자 세트를 입력으로 취하고, 이미지 인코더에서 생성된 특징 맵에서 RoI 특징을 자르고, 이를 검출 헤드로 보내 상자 회귀 및 분류 결과를 얻습니다. 또한 감지 디코더는 6개의 계단식 스테이지로 구성됩니다.

Training

학습 과정에서 연구원들은 먼저 참값 상자에서 잡음 상자까지의 확산 과정을 구성한 다음 이 과정을 역전시키도록 모델을 훈련했습니다. 아래 알고리즘 1은 DiffusionDet 훈련 프로세스의 의사코드를 제공합니다.

진실 상자 채우기. 최신 객체 감지 벤치마크의 경우 관심 있는 인스턴스 수가 이미지마다 다른 경우가 많습니다. 따라서 연구자는 먼저 원래의 Ground Truth 상자에 추가 상자를 채워서 모든 상자가 고정된 숫자 N_train으로 합산되도록 합니다. 그들은 기존의 정답 상자 반복, 무작위 상자 연결 또는 이미지 크기 상자와 같은 여러 채우기 전략을 탐색했습니다.

프레임이 손상되었습니다. 연구원은 채워진 실측 상자에 가우스 잡음을 추가합니다. 노이즈 스케일은 다음 공식(1)에서 α_t에 의해 제어되며, 이는 서로 다른 시간 단계 t에서 단조롭게 감소하는 코사인 스케줄링을 채택합니다.

훈련 손실. 감지 디코더는 N_train 손상된 상자를 입력으로 사용하고 클래스 분류 및 상자 좌표의 N_train 예측을 예측합니다. 또한 N_train 예측 세트에 세트 예측 손실을 적용합니다.

Inference

DiffusionDet의 추론 프로세스는 노이즈부터 대상 프레임까지 노이즈 제거 샘플링 프로세스입니다. 가우스 분포에서 샘플링된 상자에서 시작하여 모델은 아래 알고리즘 2에 표시된 대로 예측을 점차적으로 개선합니다.

샘플링 단계. 각 샘플링 단계에서 이전 샘플링 단계의 무작위 상자 또는 추정 상자가 감지 디코더로 전송되어 클래스 분류 및 상자 좌표를 예측합니다. 현재 단계의 상자를 얻은 후 DDIM을 사용하여 다음 단계의 상자를 추정합니다.

박스 업데이트. 추론과 훈련의 일관성을 높이기 위해 예상치 못한 상자를 무작위 상자로 대체하여 복구하는 상자 업데이트 전략을 제안합니다. 구체적으로, 먼저 특정 임계값 미만의 점수를 가진 예상치 못한 상자를 필터링한 다음 나머지 상자를 가우스 분포에서 샘플링된 새로운 무작위 상자와 연결합니다.

한번만. 무작위 상자 설계 덕분에 연구자는 임의의 수의 무작위 상자 및 샘플링 단계를 사용하여 DiffusionDet을 평가할 수 있습니다. 비교를 위해 이전 방법은 훈련 및 평가 중에 동일한 수의 처리 상자에 의존하고 탐지 디코더는 순방향 패스에서 한 번만 사용됩니다.

실험 결과

실험 부분에서 연구원들은 먼저 DiffusionDet의 일회성 속성을 시연한 다음 MS-COCO 및 LVIS 데이터 세트에서 DiffusionDet을 이전의 성숙한 검출기와 비교했습니다.

DiffusionDet의 주요 기능은 모든 추론 인스턴스를 한 번 훈련하는 것입니다. 모델이 훈련되면 아래 그림 4와 같이 추론의 상자 수와 샘플 단계를 변경하는 데 사용할 수 있습니다. DiffusionDet은 더 많은 상자 및/또는 더 많은 개선 단계를 사용하여 더 높은 정확도를 달성할 수 있지만 대기 시간이 더 길어집니다. 따라서 우리는 단일 DiffusionDet을 여러 시나리오에 배포하고 네트워크를 재교육하지 않고도 원하는 속도-정확도 균형을 달성했습니다.

연구원들은 아래 표 1과 같이 DiffusionDet을 MS-COCO 및 LVIS 데이터 세트의 이전 검출기와 비교했습니다. 그들은 먼저 DiffusionDet의 물체 감지 성능을 MS-COCO의 이전 감지기와 비교했습니다. 결과는 개선 단계가 없는 DiffusionDet이 ResNet-50 백본 네트워크를 사용하여 45.5 AP를 달성하여 Faster R-CNN, RetinaNet, DETR 및 Sparse R-CNN과 같은 이전의 성숙한 방법을 크게 능가한다는 것을 보여줍니다. 그리고 DiffusionDet은 백본 네트워크의 규모가 커지면 안정적인 개선을 보여줍니다.

더 까다로운 LVIS 데이터 세트의 결과는 아래 표 2에 나와 있으며 DiffusionDet은 더 많은 개선 단계를 사용하여 상당한 이점을 얻을 수 있음을 알 수 있습니다.

더 자세한 실험 내용은 원본 논문을 참고해주세요.

위 내용은 Faster R-CNN 및 DETR보다 우수한 첫 번째 타겟 감지 확산 모델은 무작위 프레임에서 직접 감지합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!