동영상에서 흥미로운 클립을 찾는 방법은 무엇인가요? TAL(Temporal Action Localization)이 일반적인 방법입니다. 영상 콘텐츠를 모델로 활용하신 후 전체 영상을 자유롭게 검색하실 수 있습니다.
Huazhong University of Science and Technology와 University of Michigan의 공동 팀은 최근 이 기술에 새로운 진전을 가져왔습니다.
과거에는 TAL의 모델링이 세그먼트 또는 인스턴스 수준이었지만 지금은
영상에서 한 프레임을 달성할 수 있으며, 그 효과는 전체 감독과 비슷합니다.
Huazhong University of Science and Technology 팀은 포인트 주석 감독 시간적 행동 감지를 위해 HR-Pro라는 새로운 프레임워크를 제안했습니다.
다단계 신뢰성 전파를 통해 HR-Pro는 온라인에서 더욱 차별적인 조각 수준 기능과 보다 안정적인 인스턴스 수준 경계를 학습할 수 있습니다.
HR-Pro는 세그먼트 수준 및 인스턴스 수준 포인트 주석에서 높은 신뢰도 신호를 효과적으로 전파할 수 있는 두 가지 신뢰성 인식 단계로 구성되어 네트워크가 보다 차별적인 세그먼트 표현과 더 나은 Solid 제안을 학습할 수 있습니다.
다양한 벤치마크 데이터 세트에 대한 실험에서는 HR-Pro가 최첨단 결과로 기존 방법보다 성능이 뛰어나며 포인트 주석에 대한 효율성과 잠재력이 입증되었습니다.
완전 감독 방법과 비슷한 성능
HR-Pro는 특히 다음과 같이 보다 정확한 작업 인스턴스 감지를 보여줍니다.
"골프 스윙" 동작의 경우 HR-Pro는 동작과 배경 조각을 효과적으로 구분하여 LACP 예측으로 처리하기 어려운 거짓 긍정을 완화합니다.데이터 세트의 테스트 결과도 이러한 직관적인 느낌을 확인시켜 줍니다. 
(왼쪽은 인스턴스 수준 무결성 학습 전 결과, 오른쪽은 학습 후 결과입니다. 가로축과 세로축은 각각 시간과 신뢰도 점수를 나타냅니다.)
전체적으로 공통적으로 4개의 데이터 세트에서 HR-Pro의 성능은 THUMOS14 데이터 세트의 평균 mAP가 60.3%에 이르렀으며, 이는 기존 SoTA 방법에 비해 6.5% 향상되었습니다. (53.7%), 완전히 감독되는 일부 방법을 사용하면 비슷한 결과를 얻을 수 있습니다. 
프래그먼트 수준의 차별적 학습
과인스턴스 수준의 무결성 학습으로 나뉩니다.
연구팀은 신뢰성 인식 세그먼트 수준 차별 학습을 도입하고, 카테고리별로 신뢰할 수 있는 프로토타입을 저장할 것을 제안하며, 인트라 비디오 및 인터 비디오를 통해 이러한 프로토타입에 대한 높은 신뢰도를 결합합니다. 비디오 방법 학위 단서는 다른 조각으로 전파됩니다.
프래그먼트 수준의 신뢰할 수 있는 프로토타입 구성
프래그먼트 수준에서 신뢰할 수 있는 프로토타입을 구축하기 위해 팀은 다양한 동작(여기서 c = 1, 2, …, C) 전체 데이터 세트의 특징 정보를 활용할 수 있다.
연구팀은 프로토타입을 초기화하기 위해 포인트 주석이 있는 세그먼트 기능을 선택했습니다.
다음으로 연구원은 의사 레이블이 지정된 행동 세그먼트 기능을 사용하여 각 카테고리의 프로토타입을 업데이트했으며 구체적으로 다음과 같이 표현되었습니다.
Fragment-level Reliable-aware Optimization
Fragment-level Reliable Prototype의 특징 정보를 다른 Fragment로 전달하기 위해 연구팀은 Cross를 통해 프로토타입의 신뢰성을 확보하는 RAB(Reliabilty-aware Attention Block)를 설계했습니다. - 주의 정보는 다른 세그먼트에 주입되어 세그먼트 기능의 견고성을 향상시키고 덜 차별적인 세그먼트에 대한 관심을 높입니다.
더 차별적인 프래그먼트 기능을 학습하기 위해 팀에서는 신뢰성 인식 프래그먼트 비교 손실도 구축했습니다.
인스턴스 수준을 완전히 탐색하기 위해 행동 제안된 점수 순위를 일시적으로 구조화하고 최적화하기 위해 팀은 인스턴스 수준의 행동 무결성 학습을 도입했습니다.
이 접근 방식은 신뢰할 수 있는 인스턴스 프로토타입을 기반으로 하는 인스턴스 수준 기능 학습을 통해 제안의 신뢰도 점수와 범위를 개선하는 것을 목표로 합니다.
인스턴스 수준의 신뢰할 수 있는 프로토타입 구축
학습 과정에서 포인트 주석의 인스턴스 수준 사전 정보를 활용하기 위해 팀에서는 포인트 주석 기반의 제안 생성 방법을 제안하여 서로 다른 신뢰도를 갖는 제안을 생성했습니다.
신뢰도 점수와 상대 포인트 주석 시간적 위치에 따라 이러한 제안은 두 가지 유형으로 나눌 수 있습니다.
각 제안의 완전성 점수를 예측하기 위해 연구팀은 민감한 경계의 제안 특징을 점수 예측 헤드 Φs에 입력합니다:
그런 다음 긍정/부정을 사용합니다. 신뢰할 수 있는 제안의 IoU가 포함된 샘플 제안은 제안의 완전성 점수 예측을 감독하는 가이드로 사용됩니다.
보다 정확한 경계 동작 제안을 얻기 위해 연구원은 시작 영역 기능과 종료 영역 기능을 입력합니다. 각 PP의 제안을 회귀 분석으로 예측 헤드 ψr에서 예측 제안의 시작 및 종료 시간을 오프셋합니다.
세련된 제안을 더욱 계산하고, 세련된 제안이 신뢰할 수 있는 제안과 일치하기를 바랍니다.
즉, HR-Pro는 몇 가지 주석만으로 훌륭한 결과를 얻을 수 있어 라벨 획득 비용을 크게 절감하는 동시에 강력한 일반화 기능을 갖추고 있어 실제 배포에 적합합니다. 신청 유리한 조건이 제공됩니다. 이에 따라 저자는 HR-Pro가 행동분석, 인간-컴퓨터 상호작용, 운전분석 등 다양한 분야에서 폭넓은 활용 가능성을 가질 것으로 예측한다. 논문 주소: https://arxiv.org/abs/2308.12608
위 내용은 비디오의 단일 프레임에 레이블을 지정하여 세그먼트 기능을 학습할 수 있으므로 완전한 감독 성능을 얻을 수 있습니다! Huake, 순차 행동 감지 부문에서 새로운 SOTA 획득의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
