비디오의 단일 프레임에 레이블을 지정하여 세그먼트 기능을 학습할 수 있으므로 완전한 감독 성능을 얻을 수 있습니다! Huake, 순차 행동 감지 부문에서 새로운 SOTA 획득

동영상에서 흥미로운 클립을 찾는 방법은 무엇인가요? TAL(Temporal Action Localization)이 일반적인 방법입니다. 영상 콘텐츠를 모델로 활용하신 후 전체 영상을 자유롭게 검색하실 수 있습니다.

Huazhong University of Science and Technology와 University of Michigan의 공동 팀은 최근 이 기술에 새로운 진전을 가져왔습니다.

과거에는 TAL의 모델링이 세그먼트 또는 인스턴스 수준이었지만 지금은

영상에서 한 프레임을 달성할 수 있으며

, 그 효과는 전체 감독과 비슷합니다.

Huazhong University of Science and Technology 팀은 포인트 주석 감독 시간적 행동 감지를 위해 HR-Pro라는 새로운 프레임워크를 제안했습니다.

다단계 신뢰성 전파를 통해 HR-Pro는 온라인에서 더욱 차별적인 조각 수준 기능과 보다 안정적인 인스턴스 수준 경계를 학습할 수 있습니다.

HR-Pro는 세그먼트 수준 및 인스턴스 수준 포인트 주석에서 높은 신뢰도 신호를 효과적으로 전파할 수 있는 두 가지 신뢰성 인식 단계로 구성되어 네트워크가 보다 차별적인 세그먼트 표현과 더 나은 Solid 제안을 학습할 수 있습니다.

다양한 벤치마크 데이터 세트에 대한 실험에서는 HR-Pro가 최첨단 결과로 기존 방법보다 성능이 뛰어나며 포인트 주석에 대한 효율성과 잠재력이 입증되었습니다.

완전 감독 방법과 비슷한 성능

다음 그림은 THUMOS14 테스트 영상의 시간적 행동 탐지에서 HR-Pro와 LACP의 성능을 비교한 것입니다.

HR-Pro는 특히 다음과 같이 보다 정확한 작업 인스턴스 감지를 보여줍니다.

"골프 스윙" 동작의 경우 HR-Pro는 동작과 배경 조각을 효과적으로 구분하여 LACP 예측으로 처리하기 어려운 거짓 긍정을 완화합니다.

원반 던지기 동작의 경우 HR-Pro는 비차별적 동작 세그먼트에서 활성화 값이 낮은 LACP보다 더 완전한 세그먼트를 감지합니다.

데이터 세트의 테스트 결과도 이러한 직관적인 느낌을 확인시켜 줍니다.

THUMOS14 데이터 세트의 탐지 결과를 시각화한 후 인스턴스 수준 무결성 학습 후에는 고품질 예측과 저품질 예측의 차이가 크게 증가하는 것을 확인할 수 있습니다.

(왼쪽은 인스턴스 수준 무결성 학습 전 결과, 오른쪽은 학습 후 결과입니다. 가로축과 세로축은 각각 시간과 신뢰도 점수를 나타냅니다.)

전체적으로 공통적으로 4개의 데이터 세트에서 HR-Pro의 성능은 THUMOS14 데이터 세트의 평균 mAP가 60.3%에 이르렀으며, 이는 기존 SoTA 방법에 비해 6.5% 향상되었습니다. (53.7%), 완전히 감독되는 일부 방법을 사용하면 비슷한 결과를 얻을 수 있습니다.

THUMOS14 테스트 세트에서 아래 표의 이전 최첨단 방법과 비교하여 HR-Pro는 0.1~0.7 사이의 IoU 임계값에 대해 평균 mAP 60.3%를 달성하며 이는 이전보다 6.5% 더 높습니다. 최첨단 방법 CRRC-Net.

그리고 HR-Pro는 AFSD(평균 mAP는 51.1%이고 IoU 임계값이 0.3~0.7 사이인 경우 52.0%임)와 같은 경쟁력 있는 완전 감독 방법을 사용하여 비슷한 성능을 달성할 수 있습니다.

ΔTHUMOS14 데이터세트에 대한 HR-Pro와 이전 SOTA 방법 비교

HR-Pro는 다양한 벤치마크 데이터세트에 대한 다양성과 우수성 측면에서도 기존 방법보다 훨씬 우수하며 GTEA에서 BEOID 및 ActivityNet 1.3을 달성했습니다. 각각 3.8%, 7.6%, 2.0% 개선되었습니다.

ΔGTEA 및 기타 데이터 세트에 대한 HR-Pro와 이전 SOTA 방식의 비교

그럼 HR-Pro는 어떻게 구현되나요?

학습은 두 단계로 진행됩니다

연구팀은 프래그먼트 수준에서 신뢰할 수 있는 프래그먼트 메모리 모듈을 도입하고 교차 어텐션 방법을 사용하여 다른 프래그먼트로 전파하고 제안 생성을 제안하는 다단계 신뢰성 있는 전파 방법을 제안했습니다. 인스턴스 수준의 포인트 감독을 기반으로 조각과 인스턴스를 연결하여 다양한 신뢰성 수준의 제안을 생성하고 인스턴스 수준에서 제안의 신뢰도와 경계를 더욱 최적화합니다.

HR-Pro의 모델 구조는 아래 그림과 같습니다. 시간적 행동 탐지는 2단계 학습 프로세스, 즉

프래그먼트 수준의 차별적 학습

과

인스턴스 수준의 무결성 학습으로 나뉩니다.

1단계: 세그먼트 수준 차별 학습

연구팀은 신뢰성 인식 세그먼트 수준 차별 학습을 도입하고, 카테고리별로 신뢰할 수 있는 프로토타입을 저장할 것을 제안하며, 인트라 비디오 및 인터 비디오를 통해 이러한 프로토타입에 대한 높은 신뢰도를 결합합니다. 비디오 방법 학위 단서는 다른 조각으로 전파됩니다.

프래그먼트 수준의 신뢰할 수 있는 프로토타입 구성

프래그먼트 수준에서 신뢰할 수 있는 프로토타입을 구축하기 위해 팀은 다양한 동작(여기서 c = 1, 2, …, C) 전체 데이터 세트의 특징 정보를 활용할 수 있다.

연구팀은 프로토타입을 초기화하기 위해 포인트 주석이 있는 세그먼트 기능을 선택했습니다.

다음으로 연구원은 의사 레이블이 지정된 행동 세그먼트 기능을 사용하여 각 카테고리의 프로토타입을 업데이트했으며 구체적으로 다음과 같이 표현되었습니다.

Fragment-level Reliable-aware Optimization

Fragment-level Reliable Prototype의 특징 정보를 다른 Fragment로 전달하기 위해 연구팀은 Cross를 통해 프로토타입의 신뢰성을 확보하는 RAB(Reliabilty-aware Attention Block)를 설계했습니다. - 주의 정보는 다른 세그먼트에 주입되어 세그먼트 기능의 견고성을 향상시키고 덜 차별적인 세그먼트에 대한 관심을 높입니다.

더 차별적인 프래그먼트 기능을 학습하기 위해 팀에서는 신뢰성 인식 프래그먼트 비교 손실도 구축했습니다.

2단계: 인스턴스 수준 무결성 학습

인스턴스 수준을 완전히 탐색하기 위해 행동 제안된 점수 순위를 일시적으로 구조화하고 최적화하기 위해 팀은 인스턴스 수준의 행동 무결성 학습을 도입했습니다.

이 접근 방식은 신뢰할 수 있는 인스턴스 프로토타입을 기반으로 하는 인스턴스 수준 기능 학습을 통해 제안의 신뢰도 점수와 범위를 개선하는 것을 목표로 합니다.

인스턴스 수준의 신뢰할 수 있는 프로토타입 구축

학습 과정에서 포인트 주석의 인스턴스 수준 사전 정보를 활용하기 위해 팀에서는 포인트 주석 기반의 제안 생성 방법을 제안하여 서로 다른 신뢰도를 갖는 제안을 생성했습니다.

신뢰도 점수와 상대 포인트 주석 시간적 위치에 따라 이러한 제안은 두 가지 유형으로 나눌 수 있습니다.

• 신뢰할 수 있는 제안(RP): 각 카테고리의 각 포인트에 대해 제안에는 다음이 포함됩니다. 가장 높은 신뢰성;
• 긍정적 제안(PP): 나머지 모든 후보 제안.
긍정적 샘플과 부정적 샘플의 균형을 유지하기 위해 연구팀은 카테고리와 무관한 관심 점수가 사전 정의된 값보다 낮은 세그먼트를 부정적 제안(NP)으로 그룹화했습니다.

인스턴스 수준 신뢰성 인식 최적화

각 제안의 완전성 점수를 예측하기 위해 연구팀은 민감한 경계의 제안 특징을 점수 예측 헤드 Φs에 입력합니다:

그런 다음 긍정/부정을 사용합니다. 신뢰할 수 있는 제안의 IoU가 포함된 샘플 제안은 제안의 완전성 점수 예측을 감독하는 가이드로 사용됩니다.

보다 정확한 경계 동작 제안을 얻기 위해 연구원은 시작 영역 기능과 종료 영역 기능을 입력합니다. 각 PP의 제안을 회귀 분석으로 예측 헤드 ψr에서 예측 제안의 시작 및 종료 시간을 오프셋합니다.

세련된 제안을 더욱 계산하고, 세련된 제안이 신뢰할 수 있는 제안과 일치하기를 바랍니다.

즉, HR-Pro는 몇 가지 주석만으로 훌륭한 결과를 얻을 수 있어 라벨 획득 비용을 크게 절감하는 동시에 강력한 일반화 기능을 갖추고 있어 실제 배포에 적합합니다. 신청 유리한 조건이 제공됩니다.

이에 따라 저자는 HR-Pro가 행동분석, 인간-컴퓨터 상호작용, 운전분석 등 다양한 분야에서 폭넓은 활용 가능성을 가질 것으로 예측한다.

논문 주소: https://arxiv.org/abs/2308.12608

위 내용은 비디오의 단일 프레임에 레이블을 지정하여 세그먼트 기능을 학습할 수 있으므로 완전한 감독 성능을 얻을 수 있습니다! Huake, 순차 행동 감지 부문에서 새로운 SOTA 획득의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!