배리어프리 여행이 더 안전해요! ByteDance의 연구 결과, CVPR2022 AVA 대회 우승

최근 다양한 CVPR2022 대회 결과가 발표되었습니다. ByteDance의 지능형 생성 AI 플랫폼 "Byte-IC-AutoML" 팀이 합성 데이터 기반 인스턴스 분할 챌린지(접근성 비전 및 자율성 챌린지(이하 AVA))에서 우승했습니다. , 자체 개발한 Parallel Pre-trained Transformers(PPT) 프레임워크를 사용하여 경쟁에서 유일한 트랙의 우승자가 되었습니다.

문서 주소:​​https://www.php.cn/link/ede529dfcbb2907e9760eea0875cdd12​​

이 AVA 대회는 Boston University가 후원합니다. 카네기멜론대학교.

대회에서는 장애인 보행자와 상호 작용하는 자율 시스템의 데이터 샘플이 포함된 렌더링 엔진을 통해 합성 인스턴스 분할 데이터세트를 생성합니다. 대회의 목표는 접근성과 관련된 사람과 사물에 대한 대상 탐지 및 인스턴스 분할을 위한 벤치마크 및 방법을 제공하는 것입니다.

데이터 세트 시각화

경쟁 어려움 분석

1. 도메인 일반화 문제: 이번 대회의 데이터 세트는 모두 렌더링 엔진으로 합성된 이미지, 데이터 도메인 및 자연 이미지입니다.
2. 긴 꼬리/몇 개의 표본 문제: 데이터 세트에서 "목발" 및 "휠체어" 범주와 같은 긴 꼬리 분포가 있으며 분할 효과는 다음과 같습니다.
3. 분할 견고성 문제: 일부 범주의 분할 효과가 매우 낮습니다. 인스턴스 분할 mAP가 대상 감지 분할 mAP보다 30 낮습니다. 기술 솔루션에 대한 자세한 설명

Byte-IC- AutoML 팀은 완료하기 위해 병렬 사전 훈련된 변환기(PPT) 프레임워크를 제안했습니다. 프레임워크는 주로 3가지 모듈로 구성됩니다: 1) 병렬 대규모 사전 훈련 2) 균형 복사-붙여넣기 데이터 향상 3) 픽셀 수준 비최대 억제 및 모델 융합 training Transformers

최근의 많은 사전 훈련 기사에서는 대규모 데이터 세트로 사전 훈련된 모델이 다양한 다운스트림 시나리오에 잘 일반화될 수 있음을 보여주었습니다. 따라서 팀에서는 COCO 및

BigDetection

데이터 세트를 사용하여 모델을 먼저 사전 학습시켰습니다. 이를 통해 자연 데이터와 합성 데이터 간의 필드 편차를 더 크게 완화할 수 있어 다운스트림 합성에서 더 적은 데이터를 사용할 수 있습니다. 신속한 훈련을 위한 데이터 시나리오. 모델 수준에서는 Vision Transformers가 CNN의 귀납적 편향을 갖지 않고 사전 훈련의 이점을 누릴 수 있다는 점을 고려하여 팀에서는

UniFormer

및 CBNetV2를 사용합니다. UniFormer는 컨볼루션과 셀프 어텐션을 통합하고 로컬 중복성과 글로벌 종속성이라는 두 가지 주요 문제를 동시에 해결하며 효율적인 기능 학습을 달성합니다. CBNetV2 아키텍처는 복합 연결을 통해 여러 개의 동일한 백본 패킷을 연결하여 고성능 탐지기를 구축합니다. 모델의 백본 특징 추출기는 모두 Swin Transformer입니다. 여러 개의 대규모 사전 학습된 Transformer를 병렬로 배열하고, 출력 결과를 통합하고 학습하여 최종 결과를 출력합니다. 검증 데이터 세트에 대한 다양한 방법의 mAP

균형 복사-붙여넣기 데이터 확대

복사-붙여넣기 기술은 객체를 무작위로 붙여넣어 인스턴스 분할 모델에 인상적인 결과를 제공합니다. 특히 다음 데이터 세트에 대한 것입니다. 롱테일 분포. 그러나 이 방법은 모든 카테고리의 표본을 균등하게 증가시켜 카테고리 분포의 롱테일 문제를 근본적으로 완화하지 못합니다. 이에 연구팀은 잔액 복사-붙여넣기 데이터 개선 방법을 제안했다. Balance Copy-Paste는 유효 범주 수에 따라 범주를 적응적으로 샘플링하고, 전체 샘플 품질을 향상시키며, 소수의 샘플 및 롱테일 분포 문제를 완화하고, 궁극적으로 인스턴스 분할에서 모델의 mAP를 크게 향상시킵니다.

균형 복사-붙여넣기 데이터 향상 기술로 개선됨

픽셀 수준 비최대 억제 및 모델 융합

검증 세트에 대한 모델 융합 제거 실험

테스트 세트에 대한 모델 융합 제거 실험

현재 도시 및 교통 데이터 세트는 일반 교통 및 보행자만 포함하는 보다 일반적인 장면입니다. 보조 장비 범주에 따라 이러한 사람과 물체는 현재 기존 데이터 세트에서 얻은 감지 모델로는 감지할 수 없습니다.

ByteDance Byte-IC-AutoML 팀의 이 기술 솔루션은 현재 자율 주행 및 거리 장면 이해에 널리 사용됩니다. 이러한 합성 데이터를 통해 얻은 모델은 "휠체어"와 "휠체어를 탄 사람"을 식별할 수 있습니다. "사람"과 "목발을 짚은 사람들"은 사람/사물을 보다 정확하게 분류할 수 있을 뿐만 아니라, 현장에 대한 오해로 이어지는 오판도 피할 수 있습니다. 또한, 이러한 데이터 합성 방법을 통해 현실 세계에서 상대적으로 희귀한 카테고리의 데이터를 구축할 수 있어, 보다 다양하고 완전한 표적 탐지 모델을 훈련시킬 수 있습니다.

Intelligent Creation은 ByteDance의 멀티미디어 혁신 기술 연구소이자 종합 서비스 제공업체입니다. 컴퓨터 비전, 그래픽, 음성, 촬영 및 편집, 특수 효과, 클라이언트, AI 플랫폼, 서버 엔지니어링 및 기타 기술 분야를 포괄하는 최첨단 알고리즘-엔지니어링 시스템-제품의 폐쇄 루프가 부서 내에서 구현되었습니다. Multiple 이러한 방식으로 우리는 회사의 내부 비즈니스 라인과 외부 협력 고객에게 업계 최고의 콘텐츠 이해, 콘텐츠 제작, 대화형 경험 및 소비 기능과 산업 솔루션을 제공합니다. 팀의 기술적 역량은 Volcano Engine을 통해 외부 세계에 공개되고 있습니다.

Volcano Engine은 Bytedance가 소유한 클라우드 서비스 플랫폼으로, Bytedance의 급속한 발전 과정에서 축적된 성장 방법, 기술 역량 및 도구를 외부 기업에 공개하여 클라우드 기반, 비디오 및 콘텐츠 배포, 빅 데이터, 인공 지능과 같은 서비스를 제공합니다. 인텔리전스, 개발, 운영 및 유지 관리는 기업이 디지털 업그레이드 중에 지속적인 성장을 달성하는 데 도움이 됩니다.

위 내용은 배리어프리 여행이 더 안전해요! ByteDance의 연구 결과, CVPR2022 AVA 대회 우승의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!