목차
ImageMol 모델 구조
13개의 SARS-CoV-2 표적 예측
항SARS-CoV-2 억제제 식별
주의 시각화
기술 주변기기 일체 포함 자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.

자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.

Apr 23, 2023 pm 12:46 PM
모델 연구

분자는 물질의 화학적 안정성을 유지하는 가장 작은 단위입니다. 분자에 대한 연구는 약학, 재료과학, 생물학, 화학 등 많은 과학 분야에서 근본적인 문제입니다.

자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.

분자 표현 학습은 최근 몇 년 동안 매우 인기 있는 방향이었으며 현재 여러 학파로 나눌 수 있습니다.

  • 전산 약사들은 다음과 같이 말합니다. 분자는 일련의 지문 또는 설명자로 표현될 수 있습니다. Shanghai Drug이 제안한 AttentiveFP와 같은 회사는 이 분야에서 뛰어난 대표자입니다.
  • NLPer는 다음과 같이 말했습니다: 분자는 SMILES(시퀀스)로 표현된 다음 자연어로 처리될 수 있습니다. 예를 들어 바이두의 X-Mol이 이런 점에서 뛰어난 대표자입니다.
  • 그래프 신경망 연구자들은 분자를 인접 행렬인 그래프(그래프)로 표현한 다음 Tencent의 GROVER, MIT의 DMPNN, CMU의 MOLCLR 및 기타 방법과 같은 그래프 신경망을 사용하여 처리할 수 있다고 말합니다. 이 점에 있어서는 뛰어난 대표자입니다.

그러나 현재의 특성화 방법에는 여전히 몇 가지 제한 사항이 있습니다. 예를 들어 서열 표현에는 분자의 명확한 구조 정보가 부족하고 기존 그래프 신경망의 표현 능력에는 여전히 많은 한계가 있습니다. (중국과학원 컴퓨팅 기술 연구소의 Shen Huawei 교사가 이에 대해 논의했습니다. Shen 씨의 보고서 "The 그래프 신경망의 표현 능력').

흥미로운 점은 고등학교 화학에서 분자를 공부할 때, 화학자들이 분자를 디자인할 때 분자 이미지를 기반으로 관찰하고 생각한다는 것입니다. 자연스러운 아이디어가 저절로 떠오릅니다. "분자를 표현하기 위해 분자 이미지를 직접 사용하는 것은 어떨까요?" 이미지를 사용하여 분자를 직접 표현한다면 CV(컴퓨터 비전)의 18가지 무술을 모두 사용할 수 있는 것은 아닙니다. 분자를 연구하는데 사용되었나요?

자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.

그냥 해보세요, 이력서에 모델이 너무 많은데, 분자 학습에 활용해 보는 건 어떨까요? 그만하세요. 또 다른 중요한 문제가 있습니다. 바로 데이터입니다! 특히 라벨이 붙은 데이터! 이력서 분야에서 데이터 주석은 어렵지 않은 것 같습니다. 이미지 인식이나 감정 분류와 같은 고전적인 CV 및 NLP 문제의 경우 사람은 평균 800개의 데이터에 주석을 달 수 있습니다. 그러나 분자 분야에서는 분자 특성은 습식 실험과 임상 실험을 통해서만 평가할 수 있어 라벨링된 데이터가 매우 부족합니다.

이를 바탕으로 후난대학교 연구진은 세계 최초의 분자 이미지용 비지도 학습 프레임워크인 ImageMol을 제안했습니다. ImageMol은 비지도 사전 훈련을 위해 대규모의 비표지 분자 이미지 데이터를 사용하여 분자 특성과 약물 표적에 대한 통찰력을 제공합니다. 새로운 패러다임을 제시하고 분자 이미지가 스마트 약물 개발 분야에서 큰 잠재력을 가지고 있음을 입증합니다. 이번 연구 결과는 '자기 지도 이미지 표현 학습 프레임워크를 이용한 분자 특성 및 약물 표적의 정확한 예측'이라는 제목으로 국제 최고 저널 'Nature Machine Intelligence'에 게재됐다. 컴퓨터 비전과 분자 분야의 교차점에서 달성한 성공은 컴퓨터 비전 기술을 사용하여 분자 특성과 약물 표적 메커니즘을 이해하는 데 큰 잠재력을 보여주고 분자 분야 연구를 위한 새로운 기회를 제공합니다.

자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.

문서 링크: https://www.nature.com/articles/s42256-022-00557-6.pdf

ImageMol 모델 구조

ImageMol의 전체 아키텍처는 다음과 같습니다. 아래 그림은 총 세 부분으로 나뉩니다.

자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.


(1) 약 천만 개의 분자 이미지에서 잠재 특징을 추출할 수 있는 분자 인코더 ResNet18(하늘색)을 설계합니다(a).

(2) 분자 이미지의 화학적 지식과 구조적 정보를 고려하여 5가지 사전 훈련 전략(MG3C, MRD, JPP, MCL, MIR)을 사용하여 분자 인코더의 잠재 표현을 최적화합니다(b). 구체적으로:

① MG3C(다중 입도 화학 클러스터 분류): 구조 분류기(진한 파란색)는 분자 이미지의 화학 구조 정보를 예측하는 데 사용됩니다.

② MRD(분자 합리성 판별): 합리성 분류기( green)은 합리적인 분자와 비합리적인 분자를 구별하는 데 사용됩니다.

3 JPP(Jigsaw puzzle 예측): Jigsaw 분류기(밝은 회색)는 합리적인 분자 배열을 예측하는 데 사용됩니다. MASK 대조 학습 기반 대조 학습): 대조 분류기 대조 분류기(진한 회색) 원본 이미지와 마스크 이미지 간의 유사성을 극대화하는 데 사용됩니다.

⑤ MIR(분자 이미지 재구성): 생성기(노란색) )는 분자영상에 잠재특징을 복원하는데 사용되며, 판별기는 (보라색) 생성기에 의해 생성된 가짜 분자영상과 실제 영상을 구별하는데 사용됩니다.

(3) 다운스트림 작업에서 전처리된 분자 인코더를 미세 조정하여 모델 성능을 더욱 향상시킵니다(c).

벤치마크 평가

자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.

저자는 먼저 8개의 약물 발견 벤치마크 데이터 세트를 사용하여 ImageMol의 성능을 평가했으며, 가장 널리 사용되는 두 가지 분할 전략(스캐폴드 분할 및 무작위 스캐폴드 분할)을 사용하여 ImageMol의 성능을 평가했습니다. 모든 벤치마크 데이터 세트의 성능. 분류 작업에서는 ROC(Receiver Operating Characteristic) 곡선과 AUC(Area Under Curve)를 사용하여 실험 결과를 보면 ImageMol이 더 높은 AUC 값을 얻을 수 있음을 알 수 있습니다.

ImageMol과 분자 이미지 예측을 위한 고전적인 컨벌루션 신경망 프레임워크인 Chemception 간의 HIV 및 Tox21 검출 결과를 비교하면(그림 b) ImageMol의 AUC 값이 더 높습니다. 이 기사에서는 CYP1A2, CYP2C9, CYP2C19, CYP2D6 및 CYP3A4의 5가지 주요 대사 효소에 의한 약물 대사를 예측하는 ImageMol의 성능을 추가로 평가합니다. 그림 c는 ImageMol이 5가지 주요 약물 대사 효소의 억제제 대 비억제제 예측에서 3가지 최첨단 분자 이미지 기반 표현 모델(Chemception46, ADMET-CNN12 및 QSAR-CNN47)에 비해 더 나은 결과를 달성함을 보여줍니다. . 더 높은 AUC 값(0.799~0.893 범위)을 달성했습니다. 자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.

자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.

이 백서는 그림 d, e에 표시된 대로 세 가지 최첨단 분자 표현 모델을 사용하여 ImageMol의 성능을 추가로 비교합니다. ImageMol은 무작위 뼈대 분할을 사용하는 지문 기반 모델(예: AttentiveFP), 시퀀스 기반 모델(예: TF_Robust) 및 그래프 기반 모델(예: N-GRAM, GROVER 및 MPG)에 비해 성능이 더 좋습니다. 또한 ImageMol은 기존 MACCS 기반 방법 및 FP4 기반 방법에 비해 CYP1A2, CYP2C9, CYP2C19, CYP2D6 및 CYP3A4에서 더 높은 AUC 값을 달성했습니다(그림 f). 자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.

ImageMol 그림 g에 표시된 대로 시퀀스 기반 모델(RNN_LR, TRFM_LR, RNN_MLP, TRFM_MLP, RNN_RF, TRFM_RF 및 CHEM-BERT 포함) 및 그래프 기반 모델(MolCLRGIN, MolCLRGCN 및 GROVER 포함)과 비교됨, ImageMol CYP1A2, CYP2C9, CYP2C19, CYP2D6 및 CYP3A4에서 더 나은 AUC 성능이 달성되었습니다.

자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.

위의 ImageMol과 다른 고급 모델의 비교에서 ImageMol의 우수성을 확인할 수 있습니다.

COVID-19가 발생한 이후, 우리는 코로나19에 대한 효과적인 치료 전략 개발이 시급히 필요합니다. 따라서 저자는 이러한 측면에서 ImageMol을 적절하게 평가했습니다.

13개의 SARS-CoV-2 표적 예측

ImageMol은 현재 우려되는 SARS-CoV-2에 대한 예측 실험을 수행했습니다. 13개의 SARS-CoV-2 생물검정 데이터 세트에서 ImageMol은 다음과 같은 높은 AUC 값을 달성했습니다. 72.6%에서 83.7%. 패널 a는 ImageMol에 의해 식별된 잠재적 시그니처를 보여줍니다. 이는 13개 표적 또는 엔드포인트 활성 및 비활성 항SARS-CoV-2에 잘 클러스터되어 있으며 AUC 값이 다른 것보다 높습니다. 모델 Jure의 GNN은 12% 이상 더 높습니다. 모델의 높은 정확도와 강력한 일반화.

자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.

항SARS-CoV-2 억제제 식별

약물 분자 연구와 관련된 가장 직접적인 실험이 여기 있습니다. ImageMol을 사용하여 억제제 분자를 직접 식별하세요! ImageMol 프레임워크 하에서 (COVID-19 치료를 위한 유망한 치료제 개발 목표로 입증된) 3CL 프로테아제의 억제제와 비억제제의 분자 이미지 표현을 통해, 본 연구는 3CL 억제제와 비억제제가 아래 그림 b에 표시된 것처럼 SNE 플롯에서 t-Well로 구분된 상당한 차이가 있습니다.

또한 ImageMol은 알려진 3CL 프로테아제 억제제 16개 중 10개를 식별하고 이 10개 약물을 그림의 매립 공간에 시각화하여(성공률 62.5%) SARS-CoV-2에 효과적임을 나타냅니다. 높은 일반화 약물 발견 능력. 항SARS-CoV-2 용도 변경 약물을 예측하기 위해 HEY293 분석을 사용할 때 ImageMol은 70개 약물 중 42개(성공률 60%)를 성공적으로 예측했으며, 이는 ImageMol이 HEY293 분석에서 잠재적인 약물 후보를 추론하는 데에도 능숙하다는 것을 나타냅니다. 승진 가능성이 높다. 아래 그림 c는 ImageMol이 DrugBank 데이터세트에서 3CL의 잠재적 억제제인 ​​약물을 발견한 것을 보여줍니다. 패널 d는 ImageMol이 발견한 3CL 억제제의 분자 구조를 보여줍니다.

자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.

주의 시각화

ImageMol은 =O 결합, -OH 결합, -NH3 결합 및 벤젠 고리를 포함한 분자 이미지 표현에서 화학 정보에 대한 사전 지식을 얻을 수 있습니다. 패널 b와 c는 ImageMol의 Grad-CAM으로 시각화된 12개의 예시 분자를 보여줍니다. 이는 ImageMol이 전체(b) 및 로컬(c) 구조 정보 모두에 동시에 주의를 정확하게 포착한다는 것을 의미합니다. 이러한 결과를 통해 연구자는 분자 구조가 속성과 목표에 어떻게 영향을 미치는지 시각적으로 이해할 수 있습니다.

자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.

위 내용은 자기 지도 학습을 기반으로 한 세계 최초의 분자 이미지 생성 프레임워크인 ImageMol을 소개합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. May 07, 2024 pm 04:13 PM

기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. Jun 01, 2024 pm 10:03 PM

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

Google은 열광하고 있습니다. JAX 성능이 Pytorch와 TensorFlow를 능가합니다! GPU 추론 훈련을 위한 가장 빠른 선택이 될 수 있습니다. Google은 열광하고 있습니다. JAX 성능이 Pytorch와 TensorFlow를 능가합니다! GPU 추론 훈련을 위한 가장 빠른 선택이 될 수 있습니다. Apr 01, 2024 pm 07:46 PM

Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.

AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | Apr 09, 2024 am 11:52 AM

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것! 공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것! May 06, 2024 pm 04:13 PM

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라

FisheyeDetNet: 어안 카메라를 기반으로 한 최초의 표적 탐지 알고리즘 FisheyeDetNet: 어안 카메라를 기반으로 한 최초의 표적 탐지 알고리즘 Apr 26, 2024 am 11:37 AM

표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.

DualBEV: BEVFormer 및 BEVDet4D를 크게 능가하는 책을 펼치세요! DualBEV: BEVFormer 및 BEVDet4D를 크게 능가하는 책을 펼치세요! Mar 21, 2024 pm 05:21 PM

본 논문에서는 자율 주행에서 다양한 시야각(예: 원근 및 조감도)에서 객체를 정확하게 감지하는 문제, 특히 원근(PV) 공간에서 조감(BEV) 공간으로 기능을 효과적으로 변환하는 방법을 탐구합니다. VT(Visual Transformation) 모듈을 통해 구현됩니다. 기존 방법은 크게 2D에서 3D로, 3D에서 2D로 변환하는 두 가지 전략으로 나뉩니다. 2D에서 3D로의 방법은 깊이 확률을 예측하여 조밀한 2D 특징을 개선하지만, 특히 먼 영역에서는 깊이 예측의 본질적인 불확실성으로 인해 부정확성이 발생할 수 있습니다. 3D에서 2D로의 방법은 일반적으로 3D 쿼리를 사용하여 2D 기능을 샘플링하고 Transformer를 통해 3D와 2D 기능 간의 대응에 대한 주의 가중치를 학습하므로 계산 및 배포 시간이 늘어납니다.

See all articles