CVPR 2024 | 복잡한 장면과 언어 표현 처리에 능숙한 Tsinghua & Bosch는 새로운 인스턴스 분할 네트워크 아키텍처 MagNet을 제안했습니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Referring Image Segmentation(RIS)은 미세한 인간 언어와 시각적 이미지 정보를 동시에 이해하고, 참조된 개체를 이미지에서 분류하는 알고리즘이 필요한 매우 어려운 다중 모드 작업입니다. 픽셀 수준. RIS 기술의 획기적인 발전은 인간-컴퓨터 상호작용, 이미지 편집, 자율주행 등 다양한 분야에서 획기적인 변화를 가져올 것으로 예상됩니다. 이는 인간-기계 협업의 효율성과 경험을 크게 향상시킬 수 있습니다. 현재의 최신 RIS 알고리즘은 상당한 발전을 이루었지만 여전히 양식 격차 문제, 즉 이미지와 텍스트 특징의 분포가 완전히 일치하지 않는 문제에 직면해 있습니다. 이 문제는 복잡한 참조 언어 표현과 희귀한 문맥을 다룰 때 특히 심각합니다.

^{그림 1: RIS에 대한 세분화된 언어-이미지 정렬 기능의 중요성을 보여주는 개략도. 빨간색 마스크는 현재 가장 발전된 RIS 알고리즘 중 하나인 LAVT의 예측 결과이고, 노란색 점선 상자는 올바른 주석입니다.}

현재 RIS 연구는 주로 새로운 손실 기능을 설계하거나 혁신적인 네트워크 아키텍처/모듈을 도입하여 언어-이미지 분포 정렬을 향상시키는 데 중점을 두고 있습니다. 상당한 진전에도 불구하고 세분화된 시각적 기반이 부적절하다는 두 가지 근본적인 문제가 여전히 있습니다.

1 이러한 방법은 주로 문장 수준에 의존합니다. 언어 기능은 언어-이미지 정렬을 수행하므로 결과적으로 약합니다. 텍스트 수준의 언어-이미지 정렬 기능.

2. 이러한 방법은 훈련 과정에서 명시적인 감독 신호가 부족한 경우가 많으며 모델이 세분화된 정렬을 수행하도록 효과적으로 가르칠 수 없기 때문에 복잡한 참조 언어 처리 성능이 저하됩니다. 법 그림 2: 기존 알고리즘의 단점

^{최근 CVPR 2024 작업에서 칭화 대학교 자동화학과와 보쉬 중앙 연구소의 공동 연구팀은 새로운 보조 작업 마스크 접지를 설계했습니다. . 이 작업의 목표는 텍스트 단어의 일부를 무작위로 마스킹하고 알고리즘이 실제 신원을 예측하도록 학습하여 텍스트와 시각적 개체 간의 세밀한 대응 관계를 학습하도록 모델을 명시적으로 가르치는 것입니다. 또한 언어와 이미지 사이의 격차를 더욱 포괄적으로 줄이기 위해 새로운 교차 모드 정렬 모듈과 새로운 교차 모드 정렬 손실 기능(Cross-modal Alignment Loss)도 제안했습니다. 이러한 기술을 기반으로 새로운 인스턴스 분할 네트워크 아키텍처인 MagNet(마스크 접지 네트워크)을 설계했습니다.}

논문 제목: Mask Grounding for Refering Image Segmentation

논문 주소: https://arxiv.org/abs/2312.12198

• RefCOCO에서는 RefCOCO + andG -참조 켜기 데이터 세트에서 MagNet은 이전의 모든 최적 알고리즘을 크게 능가하여 전체 교차점-노조 비율(oIoU)의 핵심 지표를 2.48% 포인트 크게 향상시켰습니다. 시각화 결과를 통해 MagNet이 복잡한 장면 및 언어 표현 처리에도 뛰어난 성능을 발휘함을 확인할 수 있었습니다.

방법

MagNet은 마스크 접지, 교차 모달 정렬 모듈 및 교차 모달 정렬 손실이라는 3개의 독립적이고 보완적인 모듈로 구성됩니다.

1.마스크 접지

ㅋㅋ 그림 3: 마스크 접지 흐름도

그림 3과 같이 입력 이미지, 해당 참조 표현 및 분할 마스크가 주어지면 저자는 문장 어휘 중 일부를 무작위로 선택하고 이를 다음으로 대체합니다. 특별한 학습 가능한 마스크 토큰입니다. 그런 다음 모델은 대체된 단어의 실제 ID를 예측하도록 훈련됩니다. 마스킹된 토큰의 신원을 성공적으로 예측함으로써 모델은 텍스트의 어떤 단어가 이미지의 어떤 부분에 해당하는지 이해할 수 있으며, 그 과정에서 세밀한 언어-이미지 정렬 기능을 학습할 수 있습니다. 이 보조 작업을 수행하기 위해 먼저 마스크 영역의 중심 좌표를 추출하고 2계층 MLP에 전달하여 분할 마스크의 특징을 인코딩합니다. 동시에 선형 레이어를 사용하여 언어 기능을 이미지 기능과 동일한 차원으로 매핑합니다. 그런 다음 제안된 마스크 토큰 예측기를 사용하여 이러한 특징을 공동 처리하고 주의 메커니즘 모듈을 마스크 토큰 예측에 사용합니다. Mask Grounding에서는 마스크된 표현을 처리하기 위해 언어 인코더를 통한 추가 정방향 전달이 필요하지만 언어 인코더가 너무 작기 때문에 전체 계산 비용은 거의 무시할 수 있습니다. Cross-modal Alignment Module (CAM)

그림 4에서 볼 수 있듯이, 모델 성능을 더욱 향상시키기 위해 저자는 언어-이미지 정렬 효과를 향상시키는 크로스 모달 정렬 모듈(CAM)도 제안했습니다. 언어-이미지 융합을 수행하기 전에 이미지 특징에 글로벌 컨텍스트를 주입합니다. CAM은 먼저 다양한 창 크기의 풀링 작업을 사용하여 다양한 피라미드 규모의 K 기능 맵을 생성합니다. 그런 다음 각 특징 맵은 3계층 MLP를 통해 전달되어 전역 정보를 더 잘 추출하고 다른 양식과 교차 주의 작업을 수행합니다. 다음으로 모든 출력 기능은 이중선형 보간을 통해 원래 기능 맵 크기로 업샘플링되고 채널 차원에서 연결됩니다. 이어서, 연결된 특징 채널의 수를 원래 크기로 다시 줄이기 위해 2계층 MLP가 사용됩니다. 다중 모드 신호가 원래 신호를 압도하는 것을 방지하기 위해 Tanh 비선형성을 갖춘 게이트 장치를 사용하여 최종 출력을 변조합니다. 마지막으로 이 게이트 기능은 입력 기능에 다시 추가되고 이미지 또는 언어 인코더의 다음 단계로 전달됩니다. 작성자의 구현에서는 이미지 및 언어 인코더의 각 단계 끝에 CAM이 추가됩니다.

3.교차 모달 정렬 손실(CAL)

                                         ross-modal 정렬 손실 공식

언어와 이미지 특징을 정렬하기 위해 모델을 감독하기 위해 저자 A 새로운 크로스 모달 정렬 손실 함수(CAL)가 제안되었습니다. 그림 5는 이 손실 함수의 수학적 공식을 보여줍니다. 이전 작업과 달리 CAL은 P2P(픽셀 대 픽셀) 정렬과 P2T(픽셀 대 텍스트) 정렬을 모두 고려합니다. 정확한 픽셀 대 픽셀 정렬을 통해 모델은 정확한 모양과 경계로 분할 마스크를 분할하고 출력할 수 있으며, 정확한 픽셀 대 텍스트 정렬을 통해 모델은 텍스트 설명을 일치하는 이미지 영역과 올바르게 연결할 수 있습니다.

Experiments

표 1에서 저자는 oIoU 메트릭을 사용하여 MagNet을 평가하고 성능을 기존 최첨단 알고리즘과 비교합니다. 테스트 데이터는 RefCOCO, RefCOCO+, G-Ref입니다. 단일 및 다중/추가 데이터 세트 설정 모두에서 MagNet의 성능은 이러한 데이터 세트에서 모두 SOTA입니다.

표 1: 실험 결과 视 시각화 결과

그림 6: 자석 시각화 결과

에서 자석의 시각화 결과를 볼 수 있습니다. 역시 뛰어나다 , 많은 어려운 시나리오에서 기본 LAVT보다 성능이 뛰어납니다.

요약

이 문서에서는 RIS(참조 분할) 분야의 과제와 현재 문제, 특히 세밀한 언어-이미지 정렬의 단점에 대해 자세히 설명합니다. 이러한 문제에 대응하여 칭화대학교와 보쉬 중앙연구소의 연구진은 보조 작업인 Mask Grounding, 교차 모달 정렬 모듈 및 교차 모달 정렬 손실 함수를 도입하여 언어를 종합적으로 향상시키는 새로운 방법인 MagNet을 제안했습니다. 이미지 간의 정렬 효과. 실험을 통해 MagNet이 RefCOCO, RefCOCO+ 및 G-Ref 데이터 세트에서 훨씬 더 나은 성능을 달성하여 이전의 최첨단 알고리즘을 능가하고 강력한 일반화 기능을 입증했음이 입증되었습니다. 시각화 결과는 복잡한 장면과 언어 표현 처리에서도 MagNet의 우수성을 확인시켜 줍니다. 이 연구는 참조 분할 분야의 추가 개발에 유용한 영감을 제공하며 이 분야에서 더 큰 혁신을 촉진할 것으로 예상됩니다.

팀 소개

이 논문은 칭화대학교 자동화학과(https://www.au.tsinghua.edu.cn)와 보쉬 중앙연구소(https:// www.bosch.com/research/). 논문의 첫 번째 저자 중 한 명인 Zhuang Rongxian은 Tsinghua University의 박사 과정 학생이자 Bosch Academia Sinica의 인턴입니다. 프로젝트 리더는 Bosch Academia Sinica의 선임 R&D 과학자인 Dr. Qiu Xuchong입니다. 칭화대학교 자동화학과 황가오(Huang Gao) 교수.

위 내용은 CVPR 2024 | 복잡한 장면과 언어 표현 처리에 능숙한 Tsinghua & Bosch는 새로운 인스턴스 분할 네트워크 아키텍처 MagNet을 제안했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!