NLP 대형 모델을 시계열에 적용하는 방법은 무엇입니까? 5가지 방법의 총정리!
최근 캘리포니아 대학에서는 자연어 처리 분야의 사전 훈련된 대규모 언어 모델을 시계열 예측에 적용하는 방법을 탐구하는 리뷰 기사를 발표했습니다. 이 기사에서는 시계열 분야에서 5가지 NLP 대형 모델의 적용을 요약합니다. 다음으로, 이번 리뷰에서 언급된 5가지 방법을 간략하게 소개하겠습니다.
Pictures
논문 제목: Large Language Models for Time Series: A Survey
다운로드 주소: https://arxiv.org/pdf/2402.01801.pdf
Pictures
1. Prompt The method
Prompt 방법을 직접 사용하여 모델은 시계열 데이터에 대한 출력을 예측할 수 있습니다. 이전 프롬프트 방법에서 기본 아이디어는 프롬프트 텍스트를 사전 훈련하고 시계열 데이터로 채우고 모델이 예측 결과를 생성하도록 하는 것이었습니다. 예를 들어 시계열 작업을 설명하는 텍스트를 구성할 때 시계열 데이터를 채우고 모델이 예측 결과를 직접 출력하도록 하세요.
Pictures
시계열을 처리할 때 숫자를 텍스트의 일부로 간주하는 경우가 많으며, 숫자를 토큰화하는 문제도 많은 주목을 받았습니다. 일부 방법은 숫자 사이에 공백을 추가하여 숫자를 더 명확하게 구분하고 사전에서 숫자 간의 불합리한 구분을 방지합니다.
2. 이산화
이러한 유형의 방법은 시계열을 이산화하고 연속 값을 이산 ID 결과로 변환하여 대규모 NLP 모델의 입력 형식에 적합합니다. 예를 들어, 한 가지 접근 방식은 VQ-VAE(Vector Quantized-Variational AutoEncoder) 기술을 사용하여 시계열을 이산 표현으로 매핑하는 것입니다. VQ-VAE는 VAE를 기반으로 한 오토인코더 구조로, Encoder를 통해 원본 입력을 표현 벡터로 매핑한 후 Decoder를 통해 원본 데이터를 복원합니다. VQ-VAE는 중간 생성 표현 벡터가 이산화되도록 보장합니다. 시계열 데이터 이산화의 매핑을 실현하기 위해 이 이산화된 표현 벡터를 기반으로 사전이 구성됩니다. 또 다른 방법은 Kmeans에 의해 생성된 중심을 사용하여 원래 시계열을 이산화하는 K-평균 이산화를 기반으로 합니다. 또한 일부 작업에서는 시계열이 텍스트로 직접 변환되기도 합니다. 예를 들어 일부 금융 시나리오에서는 일일 가격 상승, 가격 하락 및 기타 정보가 대규모 NLP 모델에 대한 입력으로 해당 문자 기호로 직접 변환됩니다.
Pictures
3. 시계열-텍스트 정렬
이러한 유형의 방법은 다중 모드 분야의 정렬 기술을 사용하여 시계열 표현을 텍스트 공간으로 정렬함으로써 시계열 데이터를 직접 정렬할 수 있습니다. NLP 대형 모델 대상에 입력합니다.
이러한 유형의 방법에서는 일부 다중 모드 정렬 방법이 널리 사용됩니다. 가장 대표적인 것은 대조 학습 기반의 다중 모드 정렬(multi-modal alignment)입니다. CLIP과 유사하게 시계열 인코더와 대형 모델을 사용하여 각각 시계열과 텍스트의 표현 벡터를 입력한 다음 대조 학습을 사용하여 거리를 단축합니다. 잠재 공간에서 시계열 표현과 텍스트 데이터를 정렬합니다.
또 다른 방법은 시계열 데이터를 기반으로 미세 조정하고 대규모 NLP 모델을 백본으로 사용하고 이를 기반으로 추가 네트워크 적응 시계열 데이터를 도입하는 것입니다. 그중 LoRA와 같은 효율적인 교차 모드 미세 조정 방법은 백본의 대부분의 매개변수를 동결하고 소수의 매개변수만 미세 조정하거나 다중 모드 정렬을 달성하기 위해 미세 조정을 위한 소수의 어댑터 매개변수를 도입합니다.
Pictures
4. 시각적 정보 소개
이 방법은 일반적으로 시계열과 시각적 정보 간의 연결을 설정한 다음 이미지와 텍스트를 사용하여 심층적으로 연구된 다중 모드 기능을 도입합니다. . 다운스트림 작업에 대한 효과적인 기능을 추출합니다. 예를 들어 ImageBind는 시계열 유형 데이터를 포함한 6개 양식의 데이터를 균일하게 정렬하여 대규모 다중 모드 모델의 통합을 달성합니다. 금융 분야의 일부 모델은 주가를 차트 데이터로 변환한 다음 CLIP을 사용하여 이미지와 텍스트를 정렬하여 다운스트림 시계열 작업을 위한 차트 관련 기능을 생성합니다.
5. 대형 모델 도구
이러한 유형의 방법은 더 이상 NLP 대형 모델을 개선하거나 대형 모델 적응을 위해 시계열 데이터 형식을 변환하지 않고 NLP 대형 모델을 시계열 문제를 해결하는 도구로 직접 사용합니다. 예를 들어, 대형 모델이 시계열 예측을 해결하기 위한 코드를 생성하고 이를 시계열 예측에 적용하도록 하거나, 대형 모델이 시계열 문제를 해결하기 위해 오픈 소스 API를 호출하도록 합니다. 물론 이 방법은 실제 적용에 더 편향되어 있습니다.
마지막으로 이 기사에서는 다양한 방법의 대표 작업과 대표 데이터 세트를 요약합니다.
위 내용은 NLP 대형 모델을 시계열에 적용하는 방법은 무엇입니까? 5가지 방법의 총정리!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











5월 30일, Tencent는 Hunyuan 모델의 포괄적인 업그레이드를 발표했습니다. Hunyuan 모델을 기반으로 하는 앱 "Tencent Yuanbao"가 공식 출시되었으며 Apple 및 Android 앱 스토어에서 다운로드할 수 있습니다. 이전 테스트 단계의 Hunyuan 애플릿 버전과 비교하여 Tencent Yuanbao는 일상 생활 시나리오를 위한 작업 효율성 시나리오를 위한 AI 검색, AI 요약 및 AI 작성과 같은 핵심 기능을 제공하며 Yuanbao의 게임 플레이도 더욱 풍부해지고 다양한 기능을 제공합니다. , 개인 에이전트 생성과 같은 새로운 게임 플레이 방법이 추가됩니다. Tencent Cloud 부사장이자 Tencent Hunyuan 대형 모델 책임자인 Liu Yuhong은 "Tencent는 먼저 대형 모델을 만들기 위해 노력하지 않을 것입니다."라고 말했습니다. Tencent Hunyuan 대형 모델 비즈니스 시나리오에서 풍부하고 방대한 폴란드 기술을 활용하면서 사용자의 실제 요구 사항에 대한 통찰력을 얻습니다.

Volcano Engine의 Tan Dai 사장은 대형 모델을 구현하려는 기업은 모델 효율성, 추론 비용, 구현 어려움이라는 세 가지 주요 과제에 직면하게 된다고 말했습니다. 복잡한 문제를 해결하기 위한 지원으로 좋은 기본 대형 모델이 있어야 하며, 서비스를 통해 대규모 모델을 널리 사용할 수 있으며 기업이 시나리오를 구현하는 데 더 많은 도구, 플랫폼 및 애플리케이션이 필요합니다. ——Tan Dai, Huoshan Engine 01 사장. 대형 빈백 모델이 출시되어 많이 사용되고 있습니다. 모델 효과를 연마하는 것은 AI 구현에 있어 가장 중요한 과제입니다. Tan Dai는 좋은 모델은 많은 양의 사용을 통해서만 연마될 수 있다고 지적했습니다. 현재 Doubao 모델은 매일 1,200억 개의 텍스트 토큰을 처리하고 3,000만 개의 이미지를 생성합니다. 기업이 대규모 모델 시나리오를 구현하는 데 도움을 주기 위해 ByteDance가 독자적으로 개발한 beanbao 대규모 모델이 화산을 통해 출시됩니다.

1. TensorRT-LLM의 제품 포지셔닝 TensorRT-LLM은 NVIDIA에서 LLM(대형 언어 모델)을 위해 개발한 확장 가능한 추론 솔루션입니다. TensorRT 딥 러닝 컴파일 프레임워크를 기반으로 계산 그래프를 구축, 컴파일 및 실행하고 FastTransformer의 효율적인 커널 구현을 활용합니다. 또한 장치 간 통신에는 NCCL을 활용합니다. 개발자는 커틀라스를 기반으로 한 맞춤형 GEMM을 개발하는 등 기술 개발 및 수요 차이를 기반으로 특정 요구 사항을 충족하도록 운영자를 맞춤화할 수 있습니다. TensorRT-LLM은 고성능을 제공하고 실용성을 지속적으로 개선하기 위해 노력하는 NVIDIA의 공식 추론 솔루션입니다. 텐서RT-LL

오늘 저는 시계열 예측 성능을 향상시키기 위해 잠재 공간에서 시계열 데이터를 대규모 자연어 처리(NLP) 모델과 정렬하는 방법을 제안하는 코네티컷 대학의 최근 연구 작업을 공유하고 싶습니다. 이 방법의 핵심은 잠재 공간 힌트(프롬프트)를 사용하여 시계열 예측의 정확성을 높이는 것입니다. 논문 제목: S2IP-LLM: SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting 다운로드 주소: https://arxiv.org/pdf/2403.05798v1.pdf 1. 큰 문제 배경 모델

시험 문제가 너무 단순하면 상위권 학생과 하위 학생 모두 90점을 받을 수 있어 격차가 더 벌어질 수 없다… 클로드3, 라마3, 심지어 GPT-5 등 더욱 강력한 모델이 출시되면서 업계는 보다 어렵고 차별화된 모델 벤치마크가 시급히 필요합니다. 대형 모델 아레나를 운영하는 조직인 LMSYS가 차세대 벤치마크인 Arena-Hard를 출시해 큰 관심을 끌었습니다. Llama3 명령의 두 가지 미세 조정 버전의 강점에 대한 최신 참조도 있습니다. 이전에 비슷한 점수를 받았던 MTBench와 비교하면 Arena-Hard 판별력이 22.6%에서 87.4%로 증가해 한눈에 봐도 강하고 약해졌습니다. Arena-Hard는 경기장의 실시간 인간 데이터를 사용하여 구축되었으며 인간 선호도와 89.1%의 일치율을 가지고 있습니다.

4월 4일 뉴스에 따르면 중국 사이버공간국은 최근 등록된 대형 모델 목록을 공개했는데, 여기에 차이나 모바일의 'Jiutian Natural Language Interaction Large Model'이 포함돼 있어 차이나 모바일의 Jiutian AI 대형 모델이 공식적으로 생성 인공 지능을 제공할 수 있음을 알렸다. 외부 세계에 대한 정보 서비스. 차이나 모바일은 이 모델이 중앙 기업이 개발한 최초의 대규모 모델로 국가 '생성 인공 지능 서비스 등록'과 '국내 심층 합성 서비스 알고리즘 등록' 이중 등록을 모두 통과했다고 밝혔습니다. 보고서에 따르면 Jiutian의 자연어 상호 작용 대형 모델은 향상된 산업 역량, 보안 및 신뢰성을 갖추고 있으며 풀 스택 현지화를 지원하며 90억, 139억, 570억, 1000억 등 다양한 매개변수 버전을 형성했습니다. 클라우드에 유연하게 배포할 수 있으며 엣지와 엔드는 상황이 다릅니다.

1. 배경 소개 먼저 Yunwen Technology의 발전 역사를 소개하겠습니다. Yunwen Technology Company...2023년은 대형 모델이 유행하는 시기입니다. 많은 기업에서는 대형 모델 이후 그래프의 중요성이 크게 감소했으며 이전에 연구된 사전 설정 정보 시스템이 더 이상 중요하지 않다고 생각합니다. 그러나 RAG의 홍보와 데이터 거버넌스의 확산으로 우리는 보다 효율적인 데이터 거버넌스와 고품질 데이터가 민영화된 대형 모델의 효율성을 향상시키는 중요한 전제 조건이라는 것을 알게 되었습니다. 따라서 점점 더 많은 기업이 주목하기 시작했습니다. 지식 구축 관련 콘텐츠에 이는 또한 탐구할 수 있는 많은 기술과 방법이 있는 더 높은 수준으로 지식의 구성 및 처리를 촉진합니다. 신기술의 출현이 기존 기술을 모두 패배시키는 것이 아니라, 신기술과 기존 기술을 통합할 수도 있음을 알 수 있습니다.

6월 13일 뉴스에 따르면 Byte의 'Volcano Engine' 공개 계정에 따르면 Xiaomi의 인공 지능 비서인 'Xiao Ai'가 Volcano Engine과 협력을 이루었습니다. 두 당사자는 beanbao 대형 모델을 기반으로 보다 지능적인 AI 상호 작용 경험을 달성할 것입니다. . ByteDance가 만든 대형 빈바오 모델은 매일 최대 1,200억 개의 텍스트 토큰을 효율적으로 처리하고 3,000만 개의 콘텐츠를 생성할 수 있는 것으로 알려졌습니다. Xiaomi는 Doubao 대형 모델을 사용하여 자체 모델의 학습 및 추론 능력을 향상시키고 사용자 요구를 보다 정확하게 파악할 뿐만 아니라 보다 빠른 응답 속도와 보다 포괄적인 콘텐츠 서비스를 제공하는 새로운 "Xiao Ai Classmate"를 만들었습니다. 예를 들어, 사용자가 복잡한 과학 개념에 대해 질문하면 &ldq
