Adapter 및 GPT 기반 시계열 다중 작업 통합 대규모 모델
오늘은 장기주기 예측에 사용할 수 있는 어댑터 기반의 범용 시계열 분석 프레임워크를 제안하는 Alibaba Damo Academy의 최신 연구에 대해 이야기하고 싶습니다. 단기 예측, 제로샷, 소수 등 7개 시계열 작업에서 놀라운 결과를 얻었습니다.
논문 제목: 하나의 크기로 모든 것에 적합: 사전 훈련된 언어 모델과 특별히 설계된 어댑터를 사용한 보편적인 시계열 분석
다운로드 가능한 링크: https://arxiv.org/pdf/2311.14782v1.pdf
1. 배경
시계열 예측 분야에서 대규모 모델을 구축할 때 어려운 점 중 하나는 NLP나 CV 분야처럼 훈련 데이터가 충분하지 않다는 것입니다. 이 기사에서는 NLP 또는 CV 분야에서 훈련된 대규모 모델을 기반으로 어댑터 기술과 결합하여 이를 시계열에 적용하여 다양한 시계열 문제를 해결하는 솔루션을 제안합니다.
NLP의 어댑터는 널리 사용됩니다. CV와 같은 분야, 특히 최근 대형 모델 애플리케이션에서는 대형 모델의 경량 미세 조정을 수행하는 데 어댑터가 사용되는 경우가 많습니다. 어댑터는 경량형 네트워크입니다. 이를 대형 모델의 일부 모듈에 삽입한 다음 대형 모델의 매개변수를 수정하고 어댑터의 매개변수만 업데이트하면 경량형 대형 모델 미세 조정이 가능합니다.
Pictures
이제 Alibaba Damo Academy의 이번 작업에서 어댑터를 사용하여 사전 훈련된 NLP와 CV 모델을 결합하여 통합 시계열 모델을 구축하는 방법을 소개하겠습니다.
2. 전체 구조
본 글에서 제안하는 모델은 Preze 매개변수의 사전 학습된 언어 모델을 기반으로 하며 4가지 유형의 어댑터를 결합하여 구현됩니다. 전체 모델 구조는 아래 그림과 같습니다.
Pictures
먼저 입력 시계열에 대해 정규화를 위해 RevIN 방법을 사용하겠습니다. 이는 각 시계열에서 평균을 빼고 분산으로 나누는 것을 의미합니다. 다음으로 PatchTST 방법을 사용하여 슬라이딩 윈도우를 통해 시계열을 여러 세그먼트로 분할하고 세그먼트 임베딩을 생성합니다. 처리된 시계열은 NLP 분야의 사전 훈련된 언어 모델에 입력됩니다. 전체 학습 과정 동안 언어 모델의 원래 매개변수는 변경되지 않으며 새로 추가된 4가지 유형의 어댑터 매개변수만 업데이트됩니다
3. 어댑터 디자인
이 기사에서는 연결할 수 있는 4가지 유형의 어댑터를 소개합니다. 시계열 적응이라는 목표를 달성하기 위해 CV 분야에서 NLP와 대형 모델의 다양한 위치. 이 네 가지 어댑터는 시간 어댑터, 채널 어댑터, 주파수 어댑터 및 예외 어댑터입니다. 시간 어댑터는 시간 차원 정보를 융합하는 데 사용되는 MLP 네트워크입니다. 본 논문에서는 시간 차원이나 공간 차원의 고차원 정보를 먼저 저차원 공간에 매핑한 후 다시 고차원 공간에 매핑하는 병목 구조를 채택합니다. 그 목적은 시간적 관계를 추출하는 과정에서 과적합의 위험을 피하기 위한 것입니다
채널 어댑터: 채널 어댑터의 구조는 시간적 어댑터와 유사하지만 차이점은 공간 차원에서 수행된다는 점입니다. 다변량 시퀀스의 변수 간의 관계를 추출하는 데 사용됩니다.
picture 주파수 어댑터는 시계열을 주파수 영역에 매핑합니다. 주파수 영역은 주파수 영역에서 MLP를 수행한 다음 이를 시간 영역으로 다시 매핑하여 주파수 영역과 같은 전역 정보를 추출합니다.
Anomaly Adapter: 이 부분에서는 주로 새로운 시계열 이상 탐지 방법을 구현합니다. 여기서는 Attention Score 행렬을 사용합니다. 정상적인 시퀀스의 경우 Attention Score 행렬은 주기적인 반복 특성을 나타내지만 비정상적인 시퀀스는 그렇지 않습니다. a 가우스 커널은 이상 어댑터 역할을 하며 시계열 이상 탐지를 위해 주의 출력 결과와 계산된 KL 발산을 사용합니다.
사진또한 각 어댑터에 따라 다양한 정도의 영향을 받기 때문에 기사에서는 어댑터를 선택적으로 사용하기 위해 Gated 네트워크를 사용했습니다.
4. 실험 결과
7가지 효과. 본 논문에서 제안한 시계열 통합 대형 모델은 각 작업에서 업계의 다양한 SOTA 모델보다 더 나은 결과를 얻었습니다. 장기 예측 작업을 예로 들면 GPT2+Adaptor 기반의 통합 모델이 가장 잘 수행됩니다
사진
위 내용은 Adapter 및 GPT 기반 시계열 다중 작업 통합 대규모 모델의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.

원본 내용의 의미를 바꾸지 말고 내용을 미세 조정하고 내용을 다시 작성하고 계속하지 마십시오. "분위수 회귀는 이러한 요구를 충족하여 정량화된 확률로 예측 구간을 제공합니다. 이는 특히 응답 변수의 조건부 분포에 관심이 있는 경우 예측 변수와 응답 변수 간의 관계를 모델링하는 데 사용되는 통계 기술입니다. 기존 회귀와 달리 분위수 회귀는 조건부 평균보다는 반응 변수의 조건부 크기를 추정하는 데 중점을 둡니다. "그림 (A): 분위수 회귀 분위수 회귀의 개념은 추정입니다. 회귀 변수 집합 X와 설명된 변수 Y의 분위수. 기존 회귀모형은 실제로 설명변수와 설명변수의 관계를 연구하기 위한 방법이다. 그들은 설명 변수와 설명 변수 사이의 관계에 중점을 둡니다.

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라

본 논문에서는 자율 주행에서 다양한 시야각(예: 원근 및 조감도)에서 객체를 정확하게 감지하는 문제, 특히 원근(PV) 공간에서 조감(BEV) 공간으로 기능을 효과적으로 변환하는 방법을 탐구합니다. VT(Visual Transformation) 모듈을 통해 구현됩니다. 기존 방법은 크게 2D에서 3D로, 3D에서 2D로 변환하는 두 가지 전략으로 나뉩니다. 2D에서 3D로의 방법은 깊이 확률을 예측하여 조밀한 2D 특징을 개선하지만, 특히 먼 영역에서는 깊이 예측의 본질적인 불확실성으로 인해 부정확성이 발생할 수 있습니다. 3D에서 2D로의 방법은 일반적으로 3D 쿼리를 사용하여 2D 기능을 샘플링하고 Transformer를 통해 3D와 2D 기능 간의 대응에 대한 주의 가중치를 학습하므로 계산 및 배포 시간이 늘어납니다.
