Sun Yat-sen University의 새로운 시공간 지식 임베딩 프레임워크는 TIP '24에 게시된 비디오 장면 그래프 생성 작업의 최신 발전을 주도합니다.

VidSGG(비디오 장면 그래프 생성)는 시각적 장면에서 개체를 식별하고 개체 간의 시각적 관계를 추론하는 것을 목표로 합니다.

이 작업을 수행하려면 장면 전체에 흩어져 있는 각 개체에 대한 포괄적인 이해뿐만 아니라 시간에 따른 개체의 움직임과 상호 작용에 대한 심층적인 연구가 필요합니다.

최근 Sun Yat-sen University의 연구자들은 최고의 인공 지능 저널인 IEEE T-IP에 논문을 게재했습니다. 그들은 관련 작업을 탐색한 결과 다음과 같은 사실을 발견했습니다. 각 개체 조합 쌍과 그 관계는 각각 공간 공동이 있습니다. -이미지 내 발생 상관관계, 서로 다른 이미지 간의 시간적 일관성/번역 상관관계.

논문 링크: https://arxiv.org/abs/2309.13237

연구진은 이러한 사전 지식을 바탕으로 사전 시공간 지식을 통합하기 위한 시공간 지식 임베딩 기반의 Transformer(STKET)를 제안했습니다. 지식은 다중 헤드 교차 주의 메커니즘에 통합되어 보다 대표적인 시각적 관계 표현을 학습합니다.

구체적으로, 공간적 동시발생과 시간적 변환 상관관계를 먼저 통계적으로 학습한 다음, 시공간적 지식 임베딩 레이어를 설계하여 시각적 표현과 지식 간의 상호작용을 완전히 탐색하고 각각 공간적 및 시간적 지식 임베딩을 생성합니다. 마지막으로 저자는 이러한 특징을 집계하여 최종 의미 라벨과 시각적 관계를 예측합니다.

많은 실험을 통해 이 기사에서 제안한 프레임워크가 현재 경쟁 알고리즘보다 훨씬 우수하다는 것을 알 수 있습니다. 현재 논문이 승인되었습니다.

논문 개요

장면 이해 분야의 급속한 발전과 함께 많은 연구자들이 장면 그래프 생성(SGG) 작업을 해결하기 위해 다양한 프레임워크를 사용하기 시작했으며 좋은 진전을 이루었습니다.

그러나 이러한 방법은 종종 단일 이미지만 고려하고 시계열에 존재하는 많은 양의 상황 정보를 무시하므로 대부분의 기존 장면 그래프 생성 알고리즘은 특정 비디오에 포함된 콘텐츠를 정확하게 식별할 수 없습니다. 시각적 관계.

따라서 많은 연구자들은 이 문제를 해결하기 위해 VidSGG(비디오 장면 그래프 생성) 알고리즘 개발에 전념하고 있습니다.

현재 작업은 주로 공간적, 시간적 관점에서 객체 수준의 시각적 정보를 수집하여 해당 시각적 관계 표현을 학습하는 데 중점을 두고 있습니다.

다양한 사물의 시각적 외양과 인터랙티브 액션의 큰 차이와 비디오 수집으로 인한 시각적 관계의 상당한 롱테일 분포로 인해 단순히 시각적 정보만 사용하는 것만으로도 모델이 잘못된 시각적인 것을 예측하는 결과를 낳기 쉽습니다. 관계.

위 문제에 대응하여 연구자들은 다음과 같은 두 가지 작업 측면을 수행했습니다.

첫째, 비디오 장면 그래프 생성 분야를 홍보하기 위해 훈련 샘플에 포함된 사전 시공간 지식을 마이닝하는 것이 제안되었습니다. 그중 사전 시공간 지식에는 다음이 포함됩니다.

1) 공간 동시 발생 상관: 특정 객체 범주 간의 관계는 특정 상호 작용으로 이어지는 경향이 있습니다.

2) 시간적 일관성/전환 상관 관계: 주어진 관계 쌍은 연속된 비디오 클립 전체에서 일관성을 유지하는 경향이 있거나 다른 특정 관계로 전환될 가능성이 높습니다.

두 번째로, 시공간 지식 임베딩 기반의 새로운 Transformer(Spatial-Temporal Knowledge-Embedded Transformer, STKET) 프레임워크를 제안합니다.

이 프레임워크는 사전 시공간 지식을 다중 헤드 교차 주의 메커니즘에 통합하여 보다 대표적인 시각적 관계 표현을 학습합니다. 테스트 벤치마크에서 얻은 비교 결과에 따르면, 연구진이 제안한 STKET 프레임워크가 기존의 최신 방법보다 성능이 우수하다는 것을 알 수 있습니다.

그림 1: 가변적인 시각적 외관과 시각적 관계의 롱테일 분포로 인해 비디오 장면 그래프 생성은 어려움으로 가득 차 있습니다.

시공간 지식 임베딩 기반 트랜스포머

공간 및 시간 지식 표현

시각적 관계를 추론할 때 인간은 시각적 단서뿐만 아니라 축적된 사전 지식도 활용합니다[1, 2]. 이에 영감을 받아 연구자들은 비디오 장면 그래프 생성 작업을 용이하게 하기 위해 훈련 세트에서 직접 사전 시공간 지식을 추출할 것을 제안합니다.

그 중에서 공간적 동시발생 상관관계는 주어진 물체가 결합될 때 그 시각적 관계 분포가 매우 편향된다는 점에서 구체적으로 나타납니다. (예를 들어 "사람"과 "컵" 사이의 시각적 관계 분포는 "개" 및 "개"와는 분명히 다름) "장난감" 간의 분포와 시간 전달 상관관계는 이전 순간의 시각적 관계가 주어지면 각 시각적 관계의 전환 확률이 크게 변경된다는 점에서 구체적으로 나타납니다. 예를 들어, 이전 순간의 시각적 관계가 "먹다"로 알려졌을 때, 다음 순간에 시각적 관계가 "쓰기"로 전환될 확률은 크게 감소합니다.

그림 2와 같이 주어진 사물의 조합이나 이전의 시각적 관계를 직관적으로 느낀 후에는 예측 공간이 크게 줄어들 수 있습니다.

그림 2: 시각적 관계의 공간적 동시 발생 확률[3]과 시간적 전이 확률

구체적으로 i번째 유형 객체와 j번째 유형 객체의 조합에 대해, 그리고 이전 순간 x번째 유형의 관계에 대해 먼저 통계를 통해 해당 공간 동시 발생 확률 행렬 E^{i,j}와 시간 전이 확률 행렬 Ex^{i,j}를 구합니다.

그런 다음 이를 완전 연결 계층에 입력하여 해당 특징 표현을 얻고, 해당 목적 함수를 사용하여 모델이 학습한 지식 표현에 해당 사전 시공간 지식이 포함되어 있는지 확인합니다.

그림 3: 공간(a) 및 시간(b) 지식 표현을 학습하는 과정

Knowledge Embedding Attention Layer

공간 지식은 일반적으로 개체 정보 간의 위치, 거리 및 관계에 대한 정보를 포함합니다. . 반면에 시간적 지식은 행동 사이의 순서, 기간, 간격을 포함합니다.

고유한 특성을 고려하여 개별적으로 처리하면 전문적인 모델링을 통해 고유한 패턴을 보다 정확하게 포착할 수 있습니다.

따라서 연구자들은 시각적 표현과 시공간 지식 간의 상호 작용을 철저하게 탐색하기 위해 시공간 지식 임베딩 레이어를 설계했습니다.

그림 4: 공간(왼쪽) 및 시간(오른쪽) 지식 임베딩 레이어

공간-시간 집계 모듈

앞서 언급한 것처럼 공간 지식 임베딩 레이어는 각 이미지 내의 공간적 일관성을 탐색합니다. 시간 지식 임베딩 레이어는 서로 다른 이미지 간의 시간 전달 상관 관계를 탐색하여 시각적 표현과 시공간 지식 간의 상호 작용을 완전히 탐색합니다.

그럼에도 불구하고 이 두 레이어는 가장 동적으로 변화하는 시각적 관계를 식별하는 데 도움이 되는 장기적인 상황 정보를 무시합니다.

이를 위해 연구원들은 각 객체 쌍의 이러한 표현을 집계하여 최종 의미 라벨과 그 관계를 예측하는 시공간 집계(STA) 모듈을 추가로 설계했습니다. 이는 서로 다른 프레임에 있는 동일한 주체-객체 쌍의 입력 공간적 및 시간적 내장 관계 표현으로 사용됩니다.

특히 연구원들은 동일한 개체 쌍의 이러한 표현을 연결하여 상황별 표현을 생성합니다.

그런 다음 서로 다른 프레임에서 동일한 주체-객체 쌍을 찾기 위해 예측 객체 레이블과 IoU(즉, Intersection over Union)를 채택하여 프레임에서 감지된 동일한 주체-객체 쌍을 일치시킵니다.

마지막으로 프레임 내 관계가 배치별로 서로 다른 표현을 갖는다는 점을 고려하여 슬라이딩 윈도우에서 가장 빠른 표현을 선택합니다.

실험 결과

제안한 프레임워크의 성능을 종합적으로 평가하기 위해 연구진은 기존의 영상 장면 그래프 생성 방식(STTran, TPI, APT)과의 비교 외에 고급 이미지 장면 그래프 생성 방식도 선택했습니다. (KERN, VCTREE, ReIDN, GPS-Net)을 비교합니다.

그 중 공정한 비교를 보장하기 위해 이미지 장면 그래프 생성 방법은 이미지의 각 프레임을 식별하여 특정 비디오에 해당하는 장면 그래프를 생성하는 목표를 달성합니다.

그림 5: Action Genome 데이터 세트에 대한 평가 지표로 Recall을 사용한 실험 결과

그림 6: Action Genome 데이터 세트에 대한 평가 지표로 Mean Recall을 사용한 실험 결과

위 내용은 Sun Yat-sen University의 새로운 시공간 지식 임베딩 프레임워크는 TIP '24에 게시된 비디오 장면 그래프 생성 작업의 최신 발전을 주도합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!