지구 전체를 신경망으로 묶는 베이항대학교 팀, 글로벌 원격 감지 이미지 생성 모델 출시
북항대학교 연구팀은 지구를 '복제'하기 위해 확산 모델을 사용했다고?
전 세계 어디에서나 모델은 다양한 해상도의 원격 감지 이미지를 생성하여 풍부하고 다양한 "병렬 장면"을 만들 수 있습니다.
그리고 지형, 기후, 식생 등과 같은 복잡한 지리적 특징이 모두 고려됩니다.
베이항대학교 연구팀은 Google 어스에서 영감을 받아 지구 전체의 위성 원격 감지 이미지를 머리 위 관점에서 심층 신경망에 '로드'했습니다.
이러한 네트워크를 기반으로 팀은 글로벌 하향식 비주얼 생성 모델인 MetaEarth를 구축했습니다.
MetaEarth에는 6억 개의 매개변수가 있으며 제한 없이 전 세계 모든 지리적 위치를 포괄하는 다양한 해상도의 원격 감지 이미지를 생성할 수 있습니다.
글로벌 원격탐사 이미지 생성 모델
이전 연구에 비해 범세계적인 기본 영상 생성 모델을 구축하는 것은 더욱 어렵고 그 과정에서 많은 어려움을 극복했습니다.
지구에는 도시, 숲, 사막, 바다, 빙하, 설원 등 모델을 통해 이해하고 표현해야 하는 다양한 지리적 특징이 있기 때문에 모델 용량이 어렵습니다.
동일한 유형의 인공 지형이라도 위도, 기후, 문화 환경에 따라 큰 차이가 나타나므로 생성된 모델의 용량에 대한 수요가 높습니다.
MetaEarth는 이러한 어려움을 성공적으로 해결하고 다양한 위치와 지형에서 고해상도 및 대규모 장면 생성을 달성했습니다.
또한 해상도를 제어할 수 있는 원격 감지 이미지를 생성하는 것도 어려운 일입니다.
오버헤드 이미지 이미징 과정에서 지상 지형 특징의 표시는 해상도에 따라 크게 영향을 받기 때문에 다양한 이미지 해상도에서는 뚜렷한 차이가 있습니다. 지정된 해상도(미터/픽셀)에서 정확하게 생성하기는 어렵습니다. 능력. MetaEarth가 다양한 해상도의 이미지를 생성하면 지상 물체의 특징을 정확하고 합리적으로 표현할 수 있으며, 다양한 해상도 간의 상관 관계도 정확하게 매핑됩니다.
마지막으로 무한한 이미지 생성이라는 과제가 있습니다. 일상의 자연스러운 이미지와는 달리 원격탐사 이미지는 폭이 매우 넓은 특성을 가지며, 측면 길이가 수만 픽셀에 달할 수도 있습니다. 모든 크기의 연속적이고 무한한 이미지를 생성하는 방법.
하지만 MetaEarth가 생성한 연속적인 무한한 장면은 이러한 결함을 피하고 "렌즈"가 번역되면서 이미지가 매우 부드럽게 움직이는 것을 볼 수 있습니다.
또한 MetaEarth는 강력한 일반화 성능을 갖추고 있으며 알 수 없는 장면을 조건부 입력으로 사용하여 다중 해상도 이미지를 계단식으로 생성할 수 있습니다.
예를 들어, GPT4-V에서 생성된 "판도라 행성"을 모델에 초기 조건으로 입력하면 MetaEarth는 여전히 지상 물체의 합리적인 분포와 사실적인 디테일을 갖춘 이미지를 생성할 수 있습니다.
하류 미션 검증 결과, MetaEarth는 새로운 데이터 엔진으로서 지구 관측 분야의 다양한 하류 미션에 대한 가상 환경 및 훈련 데이터 지원을 제공할 것으로 기대됩니다.
실험 중 저자는 검증을 위해 원격 감지 이미지 분류라는 기본 작업을 선택했습니다. 결과는 MetaEarth에서 생성된 고품질 이미지의 도움으로 다운스트림 작업의 분류 정확도가 크게 향상되었음을 보여줍니다.
저자는 메타어스가 위성 등 무인항공시스템 플랫폼에 실감나는 가상환경을 제공할 것으로 기대하며, 도시계획, 환경감시, 재난관리, 농업최적화 등 다양한 분야에서 널리 활용될 것으로 믿고 있다. 데이터 엔진 역할 외에도 MetaEarth는 생성적 세계 모델을 구축하여 향후 연구에 새로운 가능성을 제공하는 데 큰 잠재력을 가지고 있습니다. .
그렇다면 MetaEarth는 이를 어떻게 달성하나요?
6억 매개변수 확산 모델은 지구를 "모사"합니다.
MetaEarth는 확률적 확산 모델을 기반으로 구축되었으며 6억 이상의 매개변수 규모를 가지고 있습니다.
모델 훈련을 지원하기 위해 팀은 전 세계 대부분의 지역을 포괄하는 다양한 공간 해상도의 이미지와 지리적 정보 (위도, 경도 및 해상도) 가 포함된 대규모 원격 감지 이미지 데이터 세트를 수집했습니다.
본 연구에서 저자는 해상도 유도 셀프 캐스케이드 생성 프레임워크를 제안합니다.
ΔMetaEarth의 전체 프레임워크
이 프레임워크에서는 단일 모델만 사용하여 특정 지리적 위치에 대한 다중 해상도 이미지 생성을 달성하고 각 수준에서 풍부하고 다양한 "병렬 이미지"를 생성할 수 있습니다. 해상도."
구체적으로는 저해상도 조건부 이미지와 공간 해상도 인코딩을 노이즈 제거 프로세스의 시간 단계 임베딩과 결합하여 각 시간 단계에서 노이즈를 예측하는 코덱 구조의 노이즈 제거 네트워크로, 이미지 생성을 구현합니다.
모든 크기의 무제한 이미지를 생성하기 위해 저자는 메모리 효율적인 슬라이딩 윈도우 생성 방법과 노이즈 샘플링 전략도 설계했습니다.
이 전략은 생성된 이미지를 조건으로 겹치는 이미지 블록으로 나누고, 특정 노이즈 샘플링 전략을 사용하여 인접한 이미지 블록의 공유 영역에 유사한 콘텐츠를 생성함으로써 접합 간격을 방지합니다.
또한 이 노이즈 샘플링 전략을 사용하면 모델이 모든 크기의 무제한 이미지를 생성할 때 비디오 메모리 리소스를 덜 소비할 수도 있습니다.
팀 프로필
이 연구의 저자는 북항대학교 "학습, 시각 및 원격 감지 연구실, LEVIR Lab"(LEarning, VIsion 및 원격 감지 연구실, LEVIR Lab) 출신입니다. 연구실은 교수가 이끌고 있습니다. 국가 우수 청년 학자 Shi Zhenwei.
이 기사의 교신저자는 미시간 대학의 박사후 연구원이자 현재 연구실 회원인 Shi Zhenwei 교수의 전 박사 과정 학생인 Zou Zhengxia 교수입니다.
논문 주소: https://www.php.cn/link/31bb2feb402ac789507479daf9713b00
프로젝트 홈페이지: https://www.php.cn/link/a0098fd07db 76 92267fca4f4169c9ba2
위 내용은 지구 전체를 신경망으로 묶는 베이항대학교 팀, 글로벌 원격 감지 이미지 생성 모델 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라

본 논문에서는 자율 주행에서 다양한 시야각(예: 원근 및 조감도)에서 객체를 정확하게 감지하는 문제, 특히 원근(PV) 공간에서 조감(BEV) 공간으로 기능을 효과적으로 변환하는 방법을 탐구합니다. VT(Visual Transformation) 모듈을 통해 구현됩니다. 기존 방법은 크게 2D에서 3D로, 3D에서 2D로 변환하는 두 가지 전략으로 나뉩니다. 2D에서 3D로의 방법은 깊이 확률을 예측하여 조밀한 2D 특징을 개선하지만, 특히 먼 영역에서는 깊이 예측의 본질적인 불확실성으로 인해 부정확성이 발생할 수 있습니다. 3D에서 2D로의 방법은 일반적으로 3D 쿼리를 사용하여 2D 기능을 샘플링하고 Transformer를 통해 3D와 2D 기능 간의 대응에 대한 주의 가중치를 학습하므로 계산 및 배포 시간이 늘어납니다.

표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.
