다변량 시계열 예측: 독립적 예측 또는 공동 예측?

오늘은 올해 4월 NTU에서 발표한 기사를 소개합니다. 다변량 시계열 예측 문제에서 독립 예측(채널 독립)과 공동 예측(채널 종속)의 효과 차이와 그 원인, 그리고 최적화 방법.

논문 제목: 용량과 견고성 균형: 다변량 시계열 예측을 위한 채널 독립적 전략 재검토

다운로드 주소: https://arxiv.org/pdf/2304.05206v1.pdf

1 , 독립 예측 및 공동 예측

다변량 시계열 예측 문제에는 다변량 모델링 방법의 관점에서 두 가지 유형이 있습니다. 하나는 다변량 시계열을 다중 단일로 처리하는 독립 예측(채널 독립, CI)입니다. 단위 변수 예측, 각 변수는 별도로 모델링됩니다. 다른 하나는 여러 변수를 함께 모델링하고 각 변수 간의 관계를 고려하는 공동 예측(채널 종속, CD)입니다. 둘 사이의 차이점은 아래와 같습니다.

두 가지 방법에는 고유한 특성이 있습니다. CI 방법은 단일 변수만 고려하고 모델이 더 간단하지만 각 시퀀스 간의 관계를 고려하지 않기 때문에 상한선도 낮으며 일부 핵심 정보는 다음과 같습니다. 손실된 CD 방법 고려된 정보는 더 포괄적이지만 모델도 더 복잡합니다.

2. 어떤 방법이 더 나은지

먼저 상세한 비교 실험을 진행하고 선형 모델을 사용하여 CI 방법과 CD 방법이 여러 데이터 세트에 미치는 영향을 관찰하여 어떤 방법이 더 나은지 결정합니다. 본 논문의 실험에서 CI 방법이 대부분의 작업에서 더 나은 성능을 보이고 효과 안정성이 더 강하다는 주요 결론을 내렸습니다. 아래 그림에서 볼 수 있듯이 CI의 MAE, MSE 및 기타 지표는 기본적으로 각 데이터 세트에서 CD보다 작고 효과의 변동도 작습니다.

아래 실험 결과에서 볼 수 있듯이 CD와 비교하면 대부분의 예측 창 길이와 데이터 세트에서 CI의 효과가 향상됩니다.

실용 분야에서 CI 방법이 CD보다 더 좋고 안정적인 이유는 무엇인가요? 기사에서는 몇 가지 이론적 증명을 수행했으며, 핵심 결론은 실제 데이터에는 종종 분포 드리프트가 있다는 것입니다. CI 방법을 사용하면 이 문제를 완화하고 모델 일반화를 개선하는 데 도움이 될 수 있습니다. 아래 그림은 시간에 따른 각 데이터 세트의 열차 세트와 테스트 세트의 ACF(자기 상관 계수, 미래 시퀀스와 과거 시퀀스 간의 관계를 반영)의 분포를 보여줍니다. Distribution Drift가 다양한 데이터 세트에 널리 퍼져 있음을 알 수 있습니다. 열차 세트의 ACF는 테스트 세트의 ACF와 다릅니다. 즉, 둘의 기록과 미래 시퀀스 간의 관계가 다릅니다.

이 기사는 CI가 배포 드리프트를 완화하는 데 효과적이라는 것을 이론적으로 증명합니다. CI와 CD 사이의 선택은 모델 용량과 모델 견고성 간의 균형입니다. CD 모델은 더 복잡하지만 분포 변화에 더 민감합니다. 이는 실제로 모델 용량과 모델 일반화 간의 관계와 유사합니다. 모델이 복잡할수록 모델이 적합한 훈련 세트 샘플이 더 정확하지만 일단 훈련 세트와 테스트 세트 간의 분포 차이가 나면 일반화가 좋지 않습니다. 크면 효과는 더 나빠질 것입니다.

3. 최적화 방법

CD 모델링의 문제를 겨냥하여 이 기사에서는 CD 모델을 더욱 강력하게 만드는 데 도움이 되는 몇 가지 최적화 방법을 제안합니다.

정규화: 정규화 손실을 도입하고, 예측을 위한 과거 시퀀스 입력 모델로 가장 가까운 샘플 포인트를 뺀 시퀀스를 사용하고, 예측 결과가 가장 가까운 이웃 관찰에서 너무 많이 벗어나지 않도록 평활화를 사용하여 예측 결과를 제한합니다. 예측 결과가 더 평탄해집니다.

낮은 순위 분해: 완전히 연결된 매개변수 행렬을 두 개의 하위 행렬로 분해합니다. 이는 모델 용량을 줄이는 것과 동일하며 과적합 문제를 완화합니다.

손실 함수: MSE 대신 MAE를 사용하여 이상치에 대한 모델의 민감도를 줄입니다.

과거 입력 시퀀스 길이: CD 모델의 경우 입력 기록 시퀀스가 ​​길어질수록 효과가 더 커질 수 있습니다. 이는 과거 시퀀스가 ​​길수록 분포 이동의 영향을 더 많이 받기 때문입니다. CI 모델의 경우 과거 시퀀스의 길이를 늘리면 예측 효과가 더 안정적으로 향상될 수 있습니다.

4. 실험 결과

위에서 언급한 CD 모델 개선 방법을 여러 데이터 세트에서 테스트한 결과 CD에 비해 상대적으로 안정적인 효과 개선이 이루어졌으며 이는 위 방법이 다변량의 견고성을 향상시키는 데 상대적으로 효과적임을 나타냅니다. 시퀀스 예측. 실험 결과에 따르면 하위 순위 분해, 과거 창 길이, 손실 함수 유형과 같은 요소도 효과에 영향을 미치는 측면에서 기사에 나열되어 있습니다.

위 내용은 다변량 시계열 예측: 독립적 예측 또는 공동 예측?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!