시각적 Mamba 모델의 Swin 순간, 중국과학원, Huawei 등이 VMamba 출시
대형 모델 분야에서 트랜스포머의 입지는 흔들리지 않습니다. 그러나 모델 규모가 확장되고 시퀀스 길이가 증가함에 따라 기존 Transformer 아키텍처의 한계가 명백해지기 시작합니다. 다행히도 Mamba의 등장으로 이러한 상황이 빠르게 변화하고 있습니다. 그 뛰어난 성능은 즉시 AI 커뮤니티에 센세이션을 일으켰습니다. Mamba의 출현은 대규모 모델 훈련 및 시퀀스 처리에 큰 혁신을 가져왔습니다. 그 장점은 AI 커뮤니티에서 빠르게 확산되고 있어 향후 연구와 응용에 큰 희망을 불러일으키고 있습니다.
지난 목요일 Vision Mamba(Vim)의 출시로 비주얼 베이직 모델의 차세대 백본이 될 수 있는 큰 잠재력을 입증했습니다. 단 하루 후, 중국과학원, Huawei 및 Pengcheng 연구소의 연구원들이 VMamba를 제안했습니다. 전역 수용 필드와 선형 복잡성을 갖춘 시각적 Mamba 모델입니다. 이 작품은 비주얼 맘바 모델 스윈의 순간을 기념한 작품입니다.
- 논문 제목: VMamba: Visual State Space Model
- 논문 주소: https://arxiv.org/abs/2401.10166
- 코드 주소: https://github .com/MzeroMiko/VMamba
CNN과 ViT(Visual Transformer)는 현재 가장 주류를 이루는 두 가지 기본 시각적 모델입니다. CNN은 선형 복잡성을 갖고 있지만 ViT는 더 강력한 데이터 피팅 기능을 제공하지만 계산 복잡성이 더 높습니다. 연구원들은 ViT가 글로벌 수용 필드와 동적 가중치를 갖기 때문에 강력한 피팅 능력을 가지고 있다고 믿습니다. Mamba 모델에서 영감을 받아 연구원들은 선형 복잡성 하에서 우수한 특성을 모두 갖춘 모델, 즉 VMamba(Visual State Space Model)를 설계했습니다. 광범위한 실험을 통해 VMamba가 다양한 시각적 작업에서 탁월한 성능을 발휘한다는 것이 입증되었습니다. 아래 그림에서 볼 수 있듯이 VMamba-S는 ImageNet-1K에서 83.5%의 정확도를 달성합니다. 이는 Vim-S보다 3.2%, Swin-S보다 0.5% 더 높습니다.
방법 소개
VMamba의 성공 비결은 원래 자연어 처리(NLP) 작업을 해결하기 위해 설계된 S6 모델의 채택에 있습니다. ViT의 어텐션 메커니즘과 달리 S6 모델은 1D 벡터의 각 요소를 이전 스캔 정보와 상호 작용하여 선형성에 대한 2차 복잡성을 효과적으로 줄입니다. 이러한 상호 작용을 통해 VMamba는 대규모 데이터를 처리할 때 더욱 효율적입니다. 따라서 S6 모델의 출시는 VMamba의 성공을 위한 견고한 기반을 마련했습니다.
그러나 시각적 신호(예: 이미지)는 텍스트 시퀀스처럼 자연스럽게 정렬되지 않으므로 S6의 데이터 스캐닝 방법을 시각적 신호에 직접 적용할 수는 없습니다. 이를 위해 연구자들은 크로스 스캔 스캐닝 메커니즘을 설계했습니다. 크로스 스캔 모듈(CSM)은 4방향 스캔 전략, 즉 기능 맵의 네 모서리에서 동시에 스캔하는 방식을 채택합니다(위 그림 참조). 이 전략은 기능의 각 요소가 다른 모든 위치의 정보를 서로 다른 방향으로 통합하여 선형 계산 복잡성을 증가시키지 않고 전역 수용 필드를 형성하도록 보장합니다.
저자는 CSM을 기반으로 SS2D(2D-Selective-Scan) 모듈을 설계했습니다. 위 그림에 표시된 것처럼 SS2D는 세 단계로 구성됩니다.
- 스캔 확장은 2D 형상을 4가지 방향(왼쪽 위, 오른쪽 아래, 왼쪽 아래, 오른쪽 위)을 따라 1D 벡터로 평면화합니다.
- S6 블록은 이전 단계에서 얻은 4개의 1D 벡터를 독립적으로 S6 작업에 보냅니다.
- 스캔 병합은 결과 4개의 1D 벡터를 2D 기능 출력으로 융합합니다.
위 사진은 본 글에서 제안하는 VMamba 구조도이다. VMamba의 전체 프레임워크는 주류 시각적 모델과 유사합니다. 주요 차이점은 기본 모듈(VSS 블록)에 사용되는 연산자에 있습니다. VSS 블록은 위에서 소개한 2D 선택적 스캔 작업, 즉 SS2D를 사용합니다. SS2D는 VMamba가 선형 복잡성을 희생하면서 글로벌 수용 필드를 달성하도록 보장합니다.
실험 결과
ImageNet 분류
유사한 매개변수 양과 FLOP에서
- VMamba-T 달성 82 .2%를 확인하는 것은 어렵지 않습니다. 공연 RegNetY-4G를 2.2%, DeiT-S를 2.4%, Swin-T를 0.9% 초과합니다.
- VMamba-S는 83.5%의 성능을 달성하여 RegNetY-8G를 1.8%, Swin-S를 0.5% 능가했습니다.
- VMamba-B는 RegNetY보다 0.3% 높은 83.2%의 성능을 달성했습니다(버그가 있으며, 정확한 결과는 가능한 한 빨리 Github 페이지에 업데이트됩니다).
이러한 결과는 Vision Mamba(Vim) 모델보다 훨씬 높아 VMamba의 잠재력을 충분히 검증합니다. ㅋㅋㅋ 48.2%/48.5% mAP, Swin-T/S/B를 3.8%/3.6%/1.6% mAP 초과, ConvNeXt-T/S/B를 2.3%/2.8%/1.5% mAP 초과. 이러한 결과는 VMamba가 시각적 다운스트림 실험에서 완벽하게 작동함을 확인하고 주류 기본 시각적 모델을 대체할 수 있는 잠재력을 보여줍니다.
ADE20K Semantic Segmentation
ADE20K에서도 VMamba가 뛰어난 성능을 보여주었습니다. VMamba-T 모델은 512 × 512 해상도에서 47.3% mIoU를 달성했는데, 이는 ResNet, DeiT, Swin 및 ConvNeXt를 포함한 모든 경쟁사를 능가하는 점수입니다. 이러한 장점은 VMamba-S/B 모델에서도 여전히 유지될 수 있습니다.
분석실험
유효수용장
VMamba는 전역 유효수용장을 가지고 있는데, 다른 모델 중 DeiT만이 이 기능을 가지고 있습니다. 그러나 DeiT의 비용은 2차 복잡도인 반면 VMamaba는 선형 복잡도라는 점은 주목할 가치가 있습니다.
입력 크기 조정
위 그림(a)은 VMamba가 다양한 입력 이미지 크기에서 (미세 조정 없이) 가장 안정적인 성능을 나타냄을 보여줍니다. 흥미롭게도 입력 크기가 224×224에서 384×384로 증가함에 따라 VMamba만이 성능이 크게 향상되어(VMamba-S가 83.5%에서 84.0%로) 입력 이미지 크기 성별 변화에 대한 견고성을 강조합니다.
위 그림 (b)는 VMamba 시리즈 모델의 복잡도가 입력이 커질수록 선형적으로 증가한다는 것을 보여주며 이는 CNN 모델과 일치합니다.
마지막으로 기본 비전 모델에 대한 세 번째 옵션을 제공하기 위해 CNN 및 ViT와 함께 더 많은 Mamba 기반 비전 모델이 제안되기를 기대해 보겠습니다.
위 내용은 시각적 Mamba 모델의 Swin 순간, 중국과학원, Huawei 등이 VMamba 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











0. 이 글은 어떤 내용을 담고 있나요? 우리는 다재다능하고 빠른 최첨단 생성 단안 깊이 추정 모델인 DepthFM을 제안합니다. DepthFM은 전통적인 깊이 추정 작업 외에도 깊이 인페인팅과 같은 다운스트림 작업에서 최첨단 기능을 보여줍니다. DepthFM은 효율적이며 몇 가지 추론 단계 내에서 깊이 맵을 합성할 수 있습니다. 이 작품을 함께 읽어보아요~ 1. 논문 정보 제목: DepthFM: FastMoncularDepthEstimationwithFlowMatching 저자: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

세상은 미친 듯이 큰 모델을 만들고 있습니다. 인터넷의 데이터만으로는 충분하지 않습니다. 훈련 모델은 '헝거게임'처럼 생겼고, 전 세계 AI 연구자들은 이러한 데이터를 탐식하는 사람들에게 어떻게 먹이를 줄지 고민하고 있습니다. 이 문제는 다중 모드 작업에서 특히 두드러집니다. 아무것도 할 수 없던 시기에, 중국 인민대학교 학과의 스타트업 팀은 자체 새로운 모델을 사용하여 중국 최초로 '모델 생성 데이터 피드 자체'를 현실화했습니다. 또한 이해 측면과 생성 측면의 두 가지 접근 방식으로 양측 모두 고품질의 다중 모드 새로운 데이터를 생성하고 모델 자체에 데이터 피드백을 제공할 수 있습니다. 모델이란 무엇입니까? Awaker 1.0은 중관촌 포럼에 최근 등장한 대형 멀티모달 모델입니다. 팀은 누구입니까? 소폰 엔진. 런민대학교 힐하우스 인공지능대학원 박사과정 학생인 Gao Yizhao가 설립했습니다.

지연이 발생하고 iPhone의 모바일 데이터 연결 속도가 느립니까? 일반적으로 휴대폰의 셀룰러 인터넷 강도는 지역, 셀룰러 네트워크 유형, 로밍 유형 등과 같은 여러 요소에 따라 달라집니다. 더 빠르고 안정적인 셀룰러 인터넷 연결을 얻기 위해 할 수 있는 일이 몇 가지 있습니다. 수정 1 – iPhone 강제 다시 시작 때로는 장치를 강제로 다시 시작하면 셀룰러 연결을 포함한 많은 항목이 재설정됩니다. 1단계 – 볼륨 높이기 키를 한 번 눌렀다가 놓습니다. 그런 다음 볼륨 작게 키를 눌렀다가 다시 놓습니다. 2단계 - 프로세스의 다음 부분은 오른쪽에 있는 버튼을 누르는 것입니다. iPhone이 다시 시작되도록 하세요. 셀룰러 데이터를 활성화하고 네트워크 속도를 확인하세요. 다시 확인하세요 수정 2 – 데이터 모드 변경 5G는 더 나은 네트워크 속도를 제공하지만 신호가 약할 때 더 잘 작동합니다

최근 군계는 미군 전투기가 이제 AI를 활용해 완전 자동 공중전을 완수할 수 있다는 소식에 충격을 받았다. 네, 얼마 전 미군의 AI 전투기가 최초로 공개되면서 그 미스터리가 드러났습니다. 이 전투기의 정식 명칭은 VISTA(Variable Stability Flight Simulator Test Aircraft)로 미 공군 장관이 직접 조종해 일대일 공중전을 모의 실험한 것이다. 5월 2일, 미 공군 장관 프랭크 켄달(Frank Kendall)이 X-62AVISTA를 타고 에드워드 공군 기지에서 이륙했습니다. 1시간의 비행 동안 모든 비행 작업은 AI에 의해 자동으로 완료되었습니다. Kendall은 "지난 수십 년 동안 우리는 자율 공대공 전투의 무한한 잠재력에 대해 생각해 왔지만 항상 도달할 수 없는 것처럼 보였습니다."라고 말했습니다. 그러나 지금은,
