ICCV 2023 발표: ControlNet 및 SAM과 같은 인기 논문이 상을 받았습니다.

컴퓨터 비전 국제회의(ICCV)가 이번주 프랑스 파리에서 개막했습니다

컴퓨터 비전 분야 세계 최고 학술회의인 ICCV는 2년마다 개최됩니다.

ICCV의 인기는 항상 CVPR과 동등하며 계속해서 새로운 최고치를 경신했습니다.

오늘 개회식에서 ICCV는 올해 논문 데이터를 공식 발표했습니다. 올해 ICCV에 총 8068개의 제출물이 제출되었으며 그 중 2160개가 승인되었습니다. 합격률은 26.8%로 지난 ICCV 2021 합격률 25.9%보다 소폭 높은 수준이다

논문 주제에 대해서도 관계자가 관련 데이터를 발표했다. 다시점과 센서를 탑재한 3D 기술이 가장 많다. 인기

오늘 개막식의 가장 중요한 부분은 역시 시상식입니다. 다음으로 우수논문, 우수논문상 후보, 최우수 학생논문 수상자를 하나씩 발표하겠습니다

Best Paper-Marr Award

올해 최우수논문(Marr Award)에는 수상논문 2편이 있습니다

첫 번째 연구는 토론토 대학교

논문 주소:https://openaccess.thecvf.com/content/ICCV2023/papers/Wei_Passive_Ultra-Wideband_Single-Photon_Imaging_ICCV_2023_paper.pdf

저자: Mian Wei, Sotiris Nousias, Rahul Gulve, David B. Lindell, Kiriakos N. Kutulakos

재작성된 내용: 토론토 대학은 평판이 좋은 기관입니다

요약: 이 기사에서는 역동적인 장면을 동시에 이미징하는 문제인 극단적인 시간 척도(초)를 고려합니다. 피코초까지), 많은 빛도 없고 그것을 방출하는 광원의 타이밍 신호도 없이 수동적으로 수행됩니다. 이 경우 단일 광자 카메라에 대한 기존 플럭스 추정 기술이 실패하기 때문에 우리는 확률론적 미적분학에서 통찰력을 얻어 광자 감지 타임스탬프 스트림에서 재구성된 픽셀의 시변 플럭스를 활성화하는 플럭스 감지 이론을 개발합니다.

이 문서에서는 이 이론을 활용하여 (1) 수동 자유 실행 SPAD 카메라가 낮은 플럭스 조건에서 전체 DC~31GHz 범위에 걸쳐 달성 가능한 주파수 대역폭을 가짐을 보여주고, (2) 새로운 Fu Leaf 도메인 플럭스 재구성 알고리즘을 도출합니다. (3) 매우 낮은 광자 수 또는 무시할 수 없는 데드 타임에 대해서도 알고리즘의 노이즈 모델이 유효한지 확인합니다.

ControlNet, SAM 등 인기 논문이 수상했으며, ICCV 2023 논문상이 발표되었습니다. 이 논문은 비동기 이미징 메커니즘의 잠재력을 실험적으로 보여줍니다. (1) 동기화 없이 상당히 다른 속도로 작동하는 광원(전구, 프로젝터, 다중 펄스 레이저)에 의해 동시에 조명되는 장면을 이미지화하고, (2) 수동 비선형 -영상 획득; (3) 나중에 30Hz로 재생할 수 있는 초광대역 영상을 녹화하여 일상적인 움직임을 보여주지만, 빛 자체의 전파를 보여주기 위해 10억 배 더 느리게

필요한 콘텐츠 다시 작성해야 할 내용은 다음과 같습니다. 두 번째 기사는 우리가 ControNet

문서 주소: https://arxiv.org/pdf/2302.05543.pdf

작성자: Zhang Lumin, Rao Anyi, Maneesh Agrawala

입니다. 기관: 스탠포드 대학교

요약: 이 논문은 그래프 생성 효과를 향상시키기 위해 추가 조건을 추가하여 확산 모델(예: Stable Diffusion)을 제어할 수 있는 엔드투엔드 신경망 아키텍처 ControlNet을 제안합니다. -선화에서 컬러 이미지를 생성하고 동일한 깊이 구조의 이미지를 생성하며 손 키 포인트를 통해 손 생성을 최적화합니다.

ControlNet의 핵심 아이디어는 텍스트 설명에 몇 가지 추가 조건을 추가하여 확산 모델(예: Stable Diffusion)을 제어함으로써 생성된 이미지의 캐릭터 포즈, 깊이, 그림 구조 및 기타 정보를 더 잘 제어하는 ​​것입니다.

다음으로 다시 작성됨: 모델이 Canny 가장자리 감지, 깊이 감지, 의미론적 분할, Hough 변환 선 감지, 전체 중첩 가장자리 감지(HED), 인간 자세 인식 등을 수행할 수 있도록 이미지 형태로 추가 조건을 입력할 수 있습니다. 작업을 수행하고 결과 이미지에 이 정보를 유지합니다. 이 모델을 이용하면 선화나 그래피티를 바로 풀컬러 이미지로 변환하여 동일한 깊이 구조의 이미지를 생성할 수 있으며, 동시에 손 키포인트를 통해 캐릭터 손 생성도 최적화할 수 있습니다

부탁드립니다. 자세한 소개를 참조하세요. 이 사이트의 보고서: AI 차원 축소가 인간 화가를 강타하고, Vincentian 그래프가 ControlNet에 도입되고, 깊이와 가장자리 정보가 완전히 재사용됩니다.

최우수 논문 후보: SAM

올해 4월, Meta는 모든 이미지나 비디오의 객체에 대한 마스크를 생성할 수 있는 SAM(Separate Everything)의 AI 모델이라는 논문을 발표했습니다. 이 기술은 컴퓨터 비전 분야의 연구자들에게 충격을 주었고 일부에서는 "CV는 더 이상 존재하지 않습니다"라고까지 말했습니다.

이제 이 주목할만한 논문이 최우수 논문 후보에 올랐습니다.

논문 주소: https://arxiv.org/abs/2304.02643

재작성 내용: 기관: Meta AI

재작성 내용: 분할 문제의 해결 방법은 현재 대략 두 가지 방법이 있습니다. 첫 번째는 대화형 분할로, 모든 클래스의 객체를 분할하는 데 사용할 수 있지만 사람이 마스크를 반복적으로 조정하여 방법을 안내해야 합니다. 두 번째는 자동 분할로, 미리 정의된 특정 개체 범주(예: 고양이 또는 의자)를 분할하는 데 사용할 수 있지만 훈련을 위해 수동으로 주석을 추가한 개체(예: 분할된 고양이의 수천 또는 수만 개 예)가 필요합니다. . 이 두 가지 방법 중 어느 것도 보편적인 완전 자동 분할 방법을 제공하지 않습니다.

Meta가 제안한 SAM은 이 두 가지 방법을 잘 요약합니다. Interactive Segmentation과 자동 Segmentation을 쉽게 수행할 수 있는 단일 모델입니다. 모델의 프롬프트 가능한 인터페이스를 통해 사용자는 모델에 대한 올바른 프롬프트(클릭, 상자 선택, 텍스트 등)를 디자인하여 광범위한 세분화 작업을 완료할 수 있습니다.

요약하자면 이러한 기능은 SAM을 만듭니다. 새로운 작업과 영역에 적응할 수 있습니다. 이러한 유연성은 이미지 분할 분야에서 독특합니다.

자세한 내용은 이 사이트의 보고서를 참조하세요. CV가 더 이상 존재하지 않나요? Meta는 "모든 것을 분할" AI 모델을 출시하고 CV는 GPT-3 순간을 안내할 수 있습니다

Best Student Paper

이 연구는 Cornell University, Google Research 및 UC Berkeley의 연구원이 공동으로 완료했으며 저자는 다음과 같습니다. Cornell Tech의 박사과정 학생인 Qianqian Wang. 그들은 완전하고 전체적으로 일관된 모션 표현인 OmniMotion을 공동으로 제안했으며, 비디오의 모든 픽셀에 대해 정확하고 완전한 모션 추정을 수행하기 위한 새로운 테스트 시간 최적화 방법을 제안했습니다.

• 논문 주소:https://arxiv.org/abs/2306.05422
• 프로젝트 홈페이지:https://omnimotion.github.io/

컴퓨터 비전 분야에는 일반적으로 사용되는 모션 추정 방법에는 희소 특징 추적과 조밀한 광학 흐름의 두 가지 유형이 있습니다. 그러나 두 방법 모두 몇 가지 단점이 있습니다. 희소 특징 추적은 모든 픽셀의 움직임을 모델링할 수 없는 반면, 조밀한 광학 흐름은 오랜 시간 동안 움직임 궤적을 캡처할 수 없습니다

OmniMotion은 비디오 특성화를 위해 준3D 표준 볼륨을 사용하는 연구에서 제안된 새로운 기술입니다. OmniMotion은 로컬 공간과 표준 공간 간의 전단사를 통해 모든 픽셀을 추적할 수 있습니다. 이 표현 방법은 객체가 가려진 경우에도 전체적인 일관성과 모션 추적을 보장할 뿐만 아니라 카메라와 객체 모션의 모든 조합을 모델링할 수도 있습니다. 실험을 통해 OmniMotion 방식이 기존 SOTA 방식보다 성능이 훨씬 우수하다는 것이 입증되었습니다.

자세한 소개는 이 사이트의 보고서를 참조하세요. 모든 픽셀이 언제 어디서나 차단되더라도 추적할 수 있습니다. 모든 것을 추적하세요" 비디오 알고리즘 여기 왔어요

물론, 이러한 수상 논문 외에도 올해 ICCV에는 주목할 만한 뛰어난 논문이 많이 있습니다. 마지막으로, 수상 경력이 있는 17개 논문의 초기 목록은 다음과 같습니다.

위 내용은 ICCV 2023 발표: ControlNet 및 SAM과 같은 인기 논문이 상을 받았습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!