확산 모델의 시계열 적용을 요약한 기사

확산 모델은 현재 생성 AI의 핵심 모듈이며 Sora, DALL-E, Imagen과 같은 대규모 생성 AI 모델에 널리 사용되었습니다. 동시에 시계열에 확산 모델이 점점 더 많이 적용되고 있습니다. 이 글에서는 확산모델의 기본 아이디어와 시계열에서 사용되는 확산모델의 몇 가지 대표적인 작품을 소개하여 시계열에서 확산모델의 응용 원리를 이해하는 데 도움을 줍니다.

1.확산 모델 모델링 아이디어

생성 모델의 핵심은 무작위 단순 분포에서 한 점을 샘플링하고 이를 통해 대상 공간의 이미지에 이 점을 매핑할 수 있다는 것입니다. 일련의 변환 또는 샘플. 확산 모델이 하는 일은 샘플링된 샘플 지점에서 지속적으로 노이즈를 제거하고 여러 노이즈 제거 단계를 거쳐 최종 데이터를 생성하는 것입니다. 이 과정은 가우시안 분포에서 샘플링된 노이즈가 초기 원재료이며, 이 재료의 잉여 부분을 지속적으로 깎아내는 과정입니다.

위에서 언급한 것은 역과정, 즉 노이즈에서 점차적으로 노이즈를 제거하여 이미지를 얻는 것입니다. 이 프로세스는 원래 샘플링 지점에서 비트 단위로 잡음을 제거하기 위해 T번의 잡음 제거가 필요한 반복 프로세스입니다. 각 단계에서는 이전 단계에서 생성된 결과를 입력하고 잡음을 예측한 후, 입력에서 잡음을 빼서 현재 시간 단계의 출력을 얻는다.

여기서 현재 단계의 노이즈를 예측하는 모듈(노이즈 제거 모듈)을 훈련해야 합니다. 이 모듈은 현재 단계의 입력뿐만 아니라 t도 입력하고 노이즈가 무엇인지 예측합니다. 이 잡음 예측 모듈은 VAE의 Encoder 부분과 유사한 순방향 프로세스를 통해 수행됩니다. 순방향 과정에서는 영상을 입력하고 각 단계에서 노이즈를 샘플링한 후 원본 영상에 노이즈를 추가하여 생성된 결과를 얻는다. 그런 다음 생성된 결과와 현재 단계 t의 임베딩을 입력으로 사용하여 생성된 잡음을 예측함으로써 잡음 제거 모듈을 훈련하는 역할을 수행합니다.

2.시계열에 확산 모델 적용

TimeGrad: 다변량 확률 시계열 예측을 위한 자기회귀 노이즈 제거 확산 모델(2021)

TimeGrad는 시계열에 확산 모델을 사용하는 최초의 모델입니다. 예측 방법 중 하나입니다. 기존 확산 모델과 달리 TimeGrad는 기본 확산 모델을 기반으로 노이즈 제거 모듈을 도입하고 각 시간 단계에 대해 추가 숨겨진 상태를 제공합니다. 이 Hidden State는 RNN 모델을 통해 과거 시퀀스와 외부 변수를 인코딩하여 얻어지며, 시퀀스를 생성하기 위한 확산 모델을 안내하는 데 사용됩니다. 전체적인 로직은 아래 그림과 같습니다.

노이즈 제거 모듈의 네트워크 구조에서는 컨볼루션 신경망이 주로 사용됩니다. 입력 신호는 두 부분으로 나누어집니다. 첫 번째 부분은 이전 단계의 출력 시퀀스이고, 두 번째 부분은 업샘플링 후 얻은 결과인 RNN의 숨겨진 상태 출력입니다. 이 두 부분은 컨볼루션된 다음 노이즈 예측을 위해 함께 추가됩니다.

CSDI: 확률적 시계열 대치를 위한 조건부 점수 기반 확산 모델(2021)

이 문서에서는 확산 모델을 사용하여 시계열 채우기 작업을 모델링합니다. 아래 그림에서 볼 수 있듯이 초기 시계열에는 누락된 값이 있습니다. 먼저 노이즈로 채워진 다음 확산 모델을 사용하여 점차적으로 노이즈를 예측하여 여러 단계를 거쳐 최종적으로 채우기 결과를 얻습니다.

전체 모델의 핵심은 확산 모델 학습 노이즈 제거 모듈이기도 합니다. 핵심은 잡음 예측 네트워크를 훈련시키는 것입니다. 각 단계에서는 현재 단계 임베딩, 과거 관측 결과 및 이전 순간의 출력을 입력하여 잡음 결과를 예측합니다.

Transformer는 시간 차원의 Transformer와 가변 차원의 Transformer라는 두 부분을 포함하는 네트워크 구조에 사용됩니다.

DSPD & CSPD: Modeling Temporal Data as Continuous Functions with Process Diffusion (2022)

본 글에서 제안하는 방법은 TimeGrad를 통해 시계열을 생성하는 함수 자체를 직접 모델링하는 것입니다. 확산 모델. 여기서는 각 관측점이 함수로부터 생성된 후 시계열의 데이터 점 분포를 모델링하는 대신 이 함수의 분포를 직접 모델링한다고 가정합니다. 따라서 이 기사에서는 확산 모델에 추가된 독립적인 잡음을 시간에 따라 변하는 잡음으로 변경하고 확산 모델의 잡음 제거 모듈을 훈련하여 함수의 잡음을 제거합니다.

TDSTF: 희소 시계열 예측을 위한 변환기 기반 확산 확률 모델(2023)

이 기사에서는 ICU의 주요 신호 추출에 확산 모델을 적용합니다. 기사의 핵심은 값, 특징, 시간 삼중을 사용하여 시퀀스의 각 지점을 나타내고 실제 값 부분에 마스크를 사용하여 희박하고 불규칙한 의료 시계열 데이터를 처리하는 것입니다. 반면에 Transformer 모델과 확산 모델을 기반으로 한 예측 방법이 있습니다. 전체 확산 모델 프로세스는 이미지 생성 모델의 원리와 유사합니다. 노이즈 제거 모델은 과거 시계열을 기반으로 학습된 후 순방향 전파의 초기 노이즈 시퀀스에서 노이즈가 점차적으로 제거됩니다.

확산 모델의 특정 소음 예측 부분은 Transformer 구조를 사용합니다. 각 시점은 마스크와 삼중항으로 구성되며 이는 Transformer에 입력되고 잡음을 예측하기 위한 잡음 제거 모듈로 사용됩니다. 세부 구조는 Transformer 3개 층으로 구성되며, 각 Transformer는 Encoder 2개 층과 Decoder 네트워크 2개로 구성됩니다. Decoder의 출력은 Residual Network를 이용하여 연결되고 Convolution Decoder로 입력되어 잡음 예측 결과를 생성합니다.

위 내용은 확산 모델의 시계열 적용을 요약한 기사의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!