목차
1. 대형 모델 시계열 예측 방법
이 방법은 최초의 대규모 모델 시계열 예측 작업 중 하나입니다.
또 다른 연구 방향은 자연어 처리 분야의 대형 모델 구축 방법을 참조하여 시계열 예측을 위한 대형 모델을 직접 구축하는 것입니다
4. 요약
기술 주변기기 일체 포함 대규모 모델의 물결에 따른 시계열 예측에 관한 기사

대규모 모델의 물결에 따른 시계열 예측에 관한 기사

Nov 06, 2023 am 08:13 AM
필드 모델 nlp

오늘은 시계열 예측에 대형 모델을 적용하는 방법에 대해 말씀드리겠습니다. NLP 분야에서 대형 모델이 개발되면서 시계열 예측 분야에 대형 모델을 적용하려는 연구가 점점 더 많아지고 있습니다. 본 논문에서는 대형모형을 시계열 예측에 적용하는 주요 방법을 소개하고, 대형모형 시대의 시계열 예측 연구방법에 대한 이해를 돕기 위해 최근 관련 연구를 요약한다.

1. 대형 모델 시계열 예측 방법

지난 3개월 동안 대형 모델 시계열 예측 작업이 많이 등장했는데, 이는 기본적으로 두 가지 유형으로 나눌 수 있습니다.

재작성된 콘텐츠: 한 가지 접근 방식은 시계열 예측을 위해 NLP의 대규모 모델을 직접 사용하는 것입니다. 이 방법에서는 시계열 예측을 위해 GPT, Llama와 같은 대형 NLP 모델이 사용됩니다. 두 번째는 시계열 분야에서 대형 모델을 학습시키는 것입니다. 이러한 유형의 방법에서는 시계열 필드에서 GPT 또는 Llama와 같은 대규모 모델을 공동으로 훈련하고 다운스트림 시계열 작업에 사용되는 데 다수의 시계열 데이터 세트가 사용됩니다.

위의 두 가지 방법에 대해 관련된 고전 대형 모델 시계열 표현 작업은 다음과 같습니다.

2. NLP 대형 모델을 시계열에 적용

이 방법은 최초의 대규모 모델 시계열 예측 작업 중 하나입니다.

뉴욕 대학교와 카네기 멜론 대학교가 공동으로 발표한 논문 "Large Language Models as Zero Samples" "Time Series Predictor"에서는 시계열의 디지털 표현을 토큰화하여 GPT 및 LLaMa와 같은 대형 모델에서 인식할 수 있는 입력으로 변환하도록 설계되었습니다. 다양한 대규모 모델은 숫자를 다르게 토큰화하므로 다양한 모델을 사용할 때는 개인화가 필요합니다. 예를 들어 GPT는 일련의 숫자를 여러 하위 시퀀스로 분할하여 모델 학습에 영향을 미칩니다. 따라서 이 문서에서는 GPT의 입력 형식을 수용하기 위해 숫자 사이에 공백을 강제로 적용합니다. LLaMa 등 최근 출시된 대형 모델의 경우 일반적으로 개별번호가 구분되어 있으므로 공백을 추가할 필요가 없습니다. 동시에 너무 큰 시계열 값으로 인해 입력 시퀀스가 ​​너무 길어지는 것을 방지하기 위해 기사에서는 일부 스케일링 작업을 수행하여 원래 시계열 값을 보다 합리적인 범위로 제한합니다

Pictures대규모 모델의 물결에 따른 시계열 예측에 관한 기사위 처리 후 숫자 문자 대형 모델에 문자열이 입력되고, 대형 모델은 자동 회귀적으로 다음 숫자를 예측하고 최종적으로 예측된 ​​숫자를 해당 시계열 값으로 변환합니다. 아래 그림은 언어 모델의 조건부 확률을 사용하여 이전 숫자를 기반으로 다음 숫자가 각 숫자가 될 확률을 예측하는 것입니다. 이는 표현과 결합됩니다. 대형 모델의 능력은 다양한 분포 유형에 적응할 수 있기 때문에 이러한 방식으로 대형 모델을 시계열 예측에 사용할 수 있습니다. 동시에, 모델에 의해 예측된 다음 숫자의 확률은 시계열의 불확실성 추정을 달성하기 위해 불확실성 예측으로 변환될 수도 있습니다.

Pictures대규모 모델의 물결에 따른 시계열 예측에 관한 기사"TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS"라는 제목의 또 다른 기사에서 저자는 시계열을 텍스트로 변환하는 재프로그래밍 방법을 제안했습니다. and text

구체적인 구현 방법은 먼저 시계열을 여러 개의 패치로 나누고 각 패치는 MLP를 통해 임베딩을 얻는 것입니다. 그런 다음 패치 임베딩은 언어 모델의 단어 벡터에 매핑되어 시계열 세그먼트와 텍스트의 매핑 및 교차 모달 정렬을 달성합니다. 이 기사에서는 일정 기간 동안 일련의 패치 의미를 표현하기 위해 여러 단어를 프로토타입에 매핑하는 텍스트 프로토타입 아이디어를 제안합니다. 예를 들어, 아래 예에서 Shot 및 Up이라는 단어는 시계열의 단기 상승 하위 시퀀스 패치에 해당하는 빨간색 삼각형에 매핑됩니다.

Pictures대규모 모델의 물결에 따른 시계열 예측에 관한 기사3. 시계열 대형 모델

또 다른 연구 방향은 자연어 처리 분야의 대형 모델 구축 방법을 참조하여 시계열 예측을 위한 대형 모델을 직접 구축하는 것입니다

Lag-Llama : 시계열 예측을 위한 기초 모델을 향하여 이 기사에서는 시계열로 Llama 모델을 구축합니다. 핵심에는 기능 수준 및 모델 구조 수준의 설계가 포함됩니다.

특징 측면에서 기사에서는 주로 원본 시계열의 서로 다른 시간대에 있는 과거 시퀀스 통계 값인 다중 규모 및 다중 유형 지연 특성을 추출합니다. 이러한 시퀀스는 추가 기능으로 모델에 입력됩니다. 모델 구조 측면에서 NLP의 LlaMA 구조의 핵심은 정규화 방법과 위치 인코딩 부분이 최적화된 Transformer이다. 최종 출력 레이어는 확률 분포의 매개변수를 맞추기 위해 여러 헤드를 사용합니다. 예를 들어, 이 기사에서는 가우스 분포가 평균 분산을 맞추고 자유도, 평균 및 척도의 세 가지 해당 매개변수를 사용합니다. 출력되고, 최종적으로 각 시점의 예측 확률 분포 결과가 얻어집니다.

대규모 모델의 물결에 따른 시계열 예측에 관한 기사Pictures

또 다른 유사한 작업은 시계열 분야에서 GPT 모델을 구축하는 TimeGPT-1입니다. 데이터 교육 측면에서 TimeGPT는 다양한 유형의 도메인 데이터와 관련된 총 100억 개의 데이터 샘플 포인트에 도달하는 대량의 시계열 데이터를 사용합니다. 훈련 중에는 훈련 견고성을 향상시키기 위해 더 큰 배치 크기와 더 작은 학습 속도가 사용됩니다. 모델의 주요 구조는 고전적인 GPT 모델입니다

대규모 모델의 물결에 따른 시계열 예측에 관한 기사picture

아래 실험 결과에서도 일부 제로 샘플 학습 작업에서 이 시계열 사전 훈련된 대형 모델이 더 나은 결과를 얻었음을 알 수 있습니다. 기본 모델보다 성능이 대폭 향상되었습니다.

대규모 모델의 물결에 따른 시계열 예측에 관한 기사그림

4. 요약

이 기사에서는 대형 모델의 물결 속에서 시계열 예측의 연구 아이디어를 소개합니다. 전체 프로세스에는 시계열 예측을 위해 NLP 대형 모델을 직접 사용하고 해당 시간에 대형 모델을 훈련하는 것이 포함됩니다. 시리즈 필드. 어떤 방법을 사용하든 대형모델+시계열의 가능성을 보여주며, 심도있게 연구해볼 만한 방향이다.

위 내용은 대규모 모델의 물결에 따른 시계열 예측에 관한 기사의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. 중국의 기능은 GPT-4와 비슷하며 가격은 GPT-4-Turbo의 거의 1%에 불과합니다. May 07, 2024 pm 04:13 PM

기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. MLP를 대체하는 KAN은 오픈소스 프로젝트를 통해 컨볼루션으로 확장되었습니다. Jun 01, 2024 pm 10:03 PM

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

Google은 열광하고 있습니다. JAX 성능이 Pytorch와 TensorFlow를 능가합니다! GPU 추론 훈련을 위한 가장 빠른 선택이 될 수 있습니다. Google은 열광하고 있습니다. JAX 성능이 Pytorch와 TensorFlow를 능가합니다! GPU 추론 훈련을 위한 가장 빠른 선택이 될 수 있습니다. Apr 01, 2024 pm 07:46 PM

Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.

AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | AI가 수학적 연구를 전복시킨다! 필즈상 수상자이자 중국계 미국인 수학자, Terence Tao가 좋아하는 11개 논문 발표 | Apr 09, 2024 am 11:52 AM

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

FisheyeDetNet: 어안 카메라를 기반으로 한 최초의 표적 탐지 알고리즘 FisheyeDetNet: 어안 카메라를 기반으로 한 최초의 표적 탐지 알고리즘 Apr 26, 2024 am 11:37 AM

표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.

공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것! 공장에서 일하는 테슬라 로봇, 머스크 : 올해 손의 자유도가 22도에 달할 것! May 06, 2024 pm 04:13 PM

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라

셀프미디어에서 가장 수익성이 높은 다섯 가지 영역은 무엇입니까? 2024년 더우인의 지원 방향은 무엇인가요? 셀프미디어에서 가장 수익성이 높은 다섯 가지 영역은 무엇입니까? 2024년 더우인의 지원 방향은 무엇인가요? Mar 22, 2024 am 10:11 AM

인터넷의 급속한 발전으로 셀프 미디어 산업은 점점 더 많은 사람들의 관심의 초점이 되었습니다. 이 업계에서는 광범위한 시장 전망과 수익성으로 인해 일부 영역이 많은 주목을 받고 있습니다. 이 기사에서는 셀프 미디어의 가장 수익성이 높은 다섯 가지 영역을 공개하고, 셀프 미디어의 발전 기회를 더 잘 파악하는 데 도움이 되도록 2024년 Douyin의 지원 방향에 대해 논의합니다. 1. 셀프미디어의 가장 수익성이 높은 5대 분야는 무엇입니까? 온라인 교육의 등장으로 교육훈련 분야가 점점 대중화되고 있습니다. 사람들은 학문적 과정뿐만 아니라 기술 훈련과 직장 발전에도 지식과 기술을 습득하는 데 기꺼이 투자합니다. 셀프 미디어 제작자는 학생들이 학습 비용을 지불하도록 유도하는 고품질 교육 콘텐츠를 제작하여 수익성을 달성할 수 있습니다. 이러한 추세는 사람들이 평생학습에 관심을 갖고 있음을 보여준다.

See all articles