시계열 분류는 머신러닝 및 딥러닝 모델이 적용되는 일반적인 작업 중 하나입니다. 이 글에서는 8가지 유형의 시계열 분류 방법을 다룰 것입니다. 이는 단순한 거리 또는 마진 기반 방법부터 심층 신경망을 사용하는 방법까지 다양합니다. 이 문서는 모든 시계열 분류 알고리즘에 대한 참조 문서로 사용됩니다.
다양한 유형의 시계열(TS) 분류 방법을 다루기 전에 먼저 시계열의 개념을 통일해야 하며, TS는 단변량 TS 또는 다변량 TS로 분류될 수 있습니다.
단일 또는 다변량 TS의 데이터 세트에는 일반적으로 정렬된 단일 또는 다변량 TS 세트가 포함됩니다. 또한 데이터세트에는 일반적으로 단일 인코딩으로 표시되는 레이블 벡터가 포함되어 있으며, 그 길이는 다양한 클래스의 레이블을 나타냅니다.
TS 분류의 목표는 모델이 제공된 데이터 세트의 확률 분포를 학습할 수 있도록 주어진 데이터 세트에 대한 분류 모델을 훈련하여 정의됩니다. 즉, 모델은 TS가 제공될 때 클래스 라벨을 올바르게 할당하는 방법을 학습해야 합니다.
거리 또는 가장 가까운 이웃 기반 TS 분류 방법은 다양한 거리 기반 측정항목을 사용하여 주어진 데이터를 분류합니다. 새로운 TS의 예측 결과가 가장 유사한 알려진 시계열의 레이블 정보에 따라 달라지는 지도 학습 기술입니다.
거리 측정법은 두 개 이상의 시계열 사이의 거리를 설명하는 함수이며 결정적입니다. 일반적인 거리 측정값은 다음과 같습니다.
메트릭을 결정한 후 KNN(k-최근접 이웃) 알고리즘은 일반적으로 다음과 같습니다. 이 알고리즘은 새로운 TS와 훈련 데이터 세트의 모든 TS 사이의 거리를 측정합니다. 모든 거리를 계산한 후 가장 가까운 k개를 선택합니다. 마지막으로 새로운 TS는 k개의 가장 가까운 이웃이 속하는 클래스에 할당됩니다.
가장 인기 있는 규범은 확실히 p-노름, 특히 유클리드 거리이지만 TS 분류 작업에 적합하지 않게 만드는 두 가지 주요 단점이 있습니다. 표준은 동일한 길이의 두 TS에 대해서만 정의되므로 실제로 동일한 길이의 시퀀스를 얻는 것이 항상 가능한 것은 아닙니다. 표준은 각 시점에서 두 개의 TS 값만 독립적으로 비교하지만 대부분의 TS 값은 서로 상관됩니다.
그리고 DTW는 p 표준의 두 가지 한계를 해결할 수 있습니다. 클래식 DTW는 타임스탬프가 다를 수 있는 두 시계열 지점 사이의 거리를 최소화합니다. 이는 약간 이동되거나 왜곡된 TS가 여전히 유사한 것으로 간주된다는 것을 의미합니다. 아래 그림은 p-norm 기반 메트릭과 DTW 작동 방식의 차이점을 시각화합니다.
KNN과 결합된 DTW는 TS 분류의 다양한 벤치마크 평가를 위한 기본 알고리즘으로 사용됩니다.
KNN은 의사결정 트리 방법을 사용하여 구현할 수도 있습니다. 예를 들어, 이웃 포리스트 알고리즘은 거리 측정값을 사용하여 TS 데이터를 분할하는 의사결정 트리 포리스트를 모델링합니다.
간격 기반 방법은 일반적으로 TS를 여러 개의 서로 다른 간격으로 분할합니다. 그런 다음 각 하위 시퀀스는 별도의 기계 학습(ML) 분류기를 훈련하는 데 사용됩니다. 일련의 분류자가 생성되며 각 분류자는 자체 간격으로 작동합니다. 별도로 분류된 하위 계열 중에서 가장 일반적인 클래스를 계산하면 전체 시계열에 대한 최종 레이블이 반환됩니다.
구간 기반 모델의 가장 유명한 대표는 Time Series Forest입니다. TSF는 초기 TS의 무작위 하위 시퀀스를 기반으로 구축된 의사결정 트리의 모음입니다. 각 트리는 클래스를 범위에 할당하는 역할을 담당합니다.
이 작업은 요약 특징(일반적으로 평균, 표준 편차 및 기울기)을 계산하여 각 간격에 대한 특징 벡터를 생성함으로써 수행됩니다. 그런 다음 계산된 특징을 기반으로 의사결정 트리를 훈련하고 모든 트리의 다수결 투표를 통해 예측을 얻습니다. 각 트리는 초기 TS의 특정 하위 시퀀스만 평가하기 때문에 투표 프로세스가 필요합니다.
TSF 외에도 다른 간격 기반 모델이 있습니다. TSF의 변형은 하위 계열의 중앙값, 사분위수 범위, 최소값 및 최대값과 같은 추가 기능을 사용합니다. 전통적인 TSF 알고리즘과 비교하여 RISE(Random Interval Spectral Ensemble) 알고리즘이라는 다소 복잡한 알고리즘이 있습니다.
RISE 알고리즘은 두 가지 측면에서 기존 TS 포리스트와 다릅니다.
RISE 기술에서 각 결정 트리는 다음을 기반으로 구축됩니다. 다양한 푸리에, 자기 상관, 자기 회귀 및 부분 자기 상관 기능 세트. 알고리즘은 다음과 같이 작동합니다:
TS의 첫 번째 무작위 구간을 선택하고 이 구간에 대해 위의 특징을 계산합니다. 그런 다음 추출된 특징을 결합하여 새로운 훈련 세트가 생성됩니다. 이를 기반으로 의사결정나무 분류기를 학습시킵니다. 이러한 단계는 최종적으로 다양한 구성을 사용하여 반복되어 단일 의사결정 트리 분류기의 랜덤 포레스트인 앙상블 모델을 생성합니다.
사전 기반 알고리즘은 사전의 구조를 기반으로 하는 또 다른 유형의 TS 분류기입니다. 이는 다양한 분류기를 포괄하며 때로는 위의 분류기와 결합하여 사용될 수 있습니다.
다루는 사전 기반 방법 목록은 다음과 같습니다.
이러한 유형의 방법은 일반적으로 먼저 TS를 기호 시퀀스로 변환하고 슬라이딩 창을 통해 여기에서 "WORDS"를 추출합니다. 그런 다음 "WORDS"의 분포를 결정하여 최종 분류가 이루어지며, 이는 일반적으로 "WORDS"를 세고 정렬하는 방식으로 수행됩니다. 이 접근 방식의 기본 이론은 시계열이 유사하다는 것입니다. 즉, 유사한 "단어"가 포함되어 있으면 동일한 클래스에 속한다는 의미입니다. 사전 기반 분류기의 주요 프로세스는 일반적으로 동일합니다.
다음은 가장 인기 있는 것입니다. 사전 기반 분류기 목록:
BOP(Bag-of-Patterns) 알고리즘은 텍스트 데이터 분류에 사용되는 Bag-of-Patterns 알고리즘과 유사하게 작동합니다. 이 알고리즘은 단어가 나타나는 횟수를 계산합니다.
숫자(여기서는 원시 TS)에서 단어를 생성하는 가장 일반적인 기술을 SAX(Symbolic Aggregation Approximation)라고 합니다. TS는 먼저 여러 블록으로 나누어지고 각 블록은 정규화됩니다. 즉, 평균은 0이고 표준편차는 1입니다.
보통 단어의 길이는 하위 시퀀스의 실제 값 수보다 깁니다. 따라서 각 블록마다 비닝이 추가로 적용됩니다. 그런 다음 각 빈의 평균 실제 값이 계산되어 문자에 매핑됩니다. 예를 들어, -1 미만의 모든 값에는 문자 "a"가 할당되고, -1 초과 및 1 미만의 모든 값은 "b", 1 초과의 모든 값은 "c"가 할당됩니다. 아래 이미지는 이 과정을 시각화한 것입니다.
여기서 각 세그먼트에는 6개의 그룹으로 나누어진 30개의 값이 포함되어 있으며 각 그룹에는 5개의 문자 단어를 구성하기 위해 가능한 3개의 문자가 할당됩니다. 각 단어의 출현 횟수를 최종적으로 요약하고 이를 Nearest Neighbor 알고리즘에 삽입하여 분류에 사용합니다.
원본 TS가 문자와 단어로 구분되는 위 BOP 알고리즘의 아이디어와는 달리 TS의 푸리에 계수에도 유사한 접근 방식을 적용할 수 있습니다.
가장 유명한 알고리즘은 SFA(Symbolic Fourier Approximation)이며 두 부분으로 나눌 수 있습니다.
계산된 계수의 하위 집합을 유지하면서 TS의 이산 푸리에 변환을 계산합니다.
각각 결과 행렬의 열은 독립적으로 이산화되어 TS의 TS 하위 시퀀스를 단일 단어로 변환합니다.
사전 설정된 기준 위의 처리에서는 TS 예측을 얻기 위해 정보를 추가로 처리하기 위해 다양한 알고리즘을 사용할 수 있습니다.
BOSS(Bag-of-SFA-Symbols) 알고리즘은 다음과 같이 작동합니다.
BOSS 알고리즘의 변형에는 다양한 변형이 포함됩니다.
BOSS Ensemble 알고리즘은 여러 단일 BOSS 모델을 구축하는 데 자주 사용되며 각 모델은 단어 길이, 알파벳 크기 및 창 크기와 같은 매개변수 측면에서 다릅니다. 이러한 구성을 사용하여 다양한 길이의 패턴을 캡처하세요. 매개변수를 그리드 검색하고 최상의 분류자만 유지하여 많은 수의 모델을 얻습니다.
BOSSVS(BOSS in Vector Space) 알고리즘은 벡터 공간 모델을 사용하는 개별 BOSS 방법의 변형으로, 각 클래스에 대한 히스토그램을 계산하고 용어 빈도-역 문서 빈도(TF-IDF)를 계산합니다. ) 행렬. 그런 다음 각 클래스의 TF-IDF 벡터와 TS 자체의 히스토그램 사이에서 코사인 유사성이 가장 높은 클래스를 찾아 분류를 얻습니다.
Contractable BOSS(cBOSS) 알고리즘은 기존 BOSS 방법보다 계산 속도가 훨씬 빠릅니다.
전체 매개변수 공간이 아닌 무작위로 선택된 샘플에 대해 그리드 검색을 수행하여 속도를 높일 수 있습니다. cBOSS는 각 기본 분류자에 대해 데이터의 하위 샘플을 사용합니다. cBOSS는 특정 성능 임계값을 초과하는 모든 분류기 대신 고정된 수의 최상의 기본 분류기만 고려하여 메모리 효율성을 향상시킵니다.
BOSS 알고리즘의 다음 변형은 RBOSS(Randomized BOSS)입니다. 이 방법은 슬라이딩 윈도우 길이 선택에 확률론적 프로세스를 추가하고 개별 BOSS 분류기의 예측을 영리하게 집계합니다. 이는 cBOSS 변형과 유사하며 기본 성능을 유지하면서 계산 시간을 줄입니다.
TS Classifier Extraction(WEASEL) 알고리즘은 SFA 변환에서 다양한 길이의 슬라이딩 윈도우를 사용하여 표준 BOSS 방법의 성능을 향상시킬 수 있습니다. 다른 BOSS 변형과 마찬가지로 다양한 길이의 창 크기를 사용하여 TS를 특징 벡터로 변환한 다음 KNN 분류기에 의해 평가됩니다.
WEASEL은 χ2 테스트를 적용하여 각 슬라이딩 윈도우의 겹치지 않는 하위 시퀀스만 사용하여 가장 관련성이 높은 기능을 필터링하여 수행되는 특정 기능 파생 방법을 사용합니다.
WEASEL을 다변량 비지도 기호(WEASEL+MUSE)와 결합하여 문맥 정보를 각 기능에 인코딩하여 TS에서 다변량 기능을 추출하고 필터링합니다.
Shapelet 기반 방법은 초기 시계열(예: Shapelet)의 하위 시퀀스 아이디어를 사용합니다. 셰이프릿은 클래스의 대표자로 사용하기 위해 선택됩니다. 즉, 셰이프릿에는 서로 다른 클래스를 구별하는 데 사용할 수 있는 클래스의 주요 특성이 포함되어 있습니다. 최적의 경우에는 동일한 클래스 내 TS 간의 로컬 유사성을 감지할 수 있습니다.
아래 그림은 셰이프렛의 예를 보여줍니다. 이는 전체 TS의 하위 시퀀스일 뿐입니다.
셰이프릿 기반 알고리즘을 사용하려면 어떤 셰이프릿을 사용할지 결정하는 문제가 필요합니다. Shapelet 세트를 만들어 손으로 선택하는 것이 가능하지만 이는 매우 어려울 수 있습니다. 다양한 알고리즘을 사용하여 Shapelet을 자동으로 선택할 수도 있습니다.
Shapelet Transform은 Lines 등이 제안한 Shapelet 추출 기반 알고리즘으로 현재 가장 일반적으로 사용되는 알고리즘 중 하나입니다. n개의 실수 값 관측값으로 구성된 TS가 주어지면 셰이프릿은 길이가 l인 TS의 하위 집합으로 정의됩니다.
셰이프릿과 전체 TS 사이의 최소 거리는 셰이프릿 자체와 TS에서 시작하는 길이 l의 모든 셰이프릿 사이의 거리로서 유클리드 거리 또는 기타 거리 측정법을 사용하여 측정할 수 있습니다.
그런 다음 알고리즘은 길이가 특정 범위 내에 속하는 k개의 최상의 셰이프릿을 선택합니다. 이 단계는 일종의 일변량 특징 추출로 볼 수 있으며, 각 특징은 주어진 데이터세트의 셰이프릿과 모든 TS 사이의 거리로 정의됩니다. 그런 다음 일부 통계를 기반으로 셰이프릿의 순위가 결정됩니다. 이는 일반적으로 클래스를 구별하는 능력에 따라 Shapelet의 순위를 지정하는 f-통계 또는 χ² 통계입니다.
위 단계를 완료한 후에는 모든 유형의 ML 알고리즘을 적용하여 새 데이터 세트를 분류할 수 있습니다. 예를 들어 knn 기반 분류기, 지원 벡터 머신 또는 랜덤 포레스트 등이 있습니다.
이상적인 셰이프릿을 찾는 데 따른 또 다른 문제는 훈련 샘플의 수가 기하급수적으로 증가하는 끔찍한 시간 복잡도입니다.
Shapelet 학습 기반 알고리즘은 Shapelet 추출 기반 알고리즘의 한계를 해결하려고 시도합니다. 아이디어는 주어진 데이터 세트에서 클래스를 직접 추출하는 대신 클래스를 구별할 수 있는 셰이프렛 세트를 학습하는 것입니다.
이 작업에는 두 가지 주요 이점이 있습니다.
그러나 이 접근 방식에는 미분 가능한 최소화 기능과 선택된 분류기를 사용하므로 몇 가지 단점도 있습니다.
유클리드 거리를 대체하려면 미분 가능 함수에 의존해야 하므로 경사하강법이나 역전파 알고리즘을 통해 셰이프릿을 학습할 수 있습니다. 가장 일반적인 것은 LogSumExp 함수에 의존하는데, 이 함수는 해당 인수의 지수 합계에 대한 로그를 취해 최대값에 원활하게 접근합니다. LogSumExp 함수는 엄격하게 볼록하지 않기 때문에 최적화 알고리즘이 올바르게 수렴되지 않을 수 있으며 이는 잘못된 로컬 최소값으로 이어질 수 있음을 의미합니다.
그리고 최적화 과정 자체가 알고리즘의 주요 구성요소이기 때문에 튜닝을 위해서는 여러 하이퍼파라미터를 추가해야 합니다.
그러나 이 방법은 실제로 매우 유용하며 데이터에 대한 새로운 통찰력을 생성할 수 있습니다.
셰이프릿 기반 알고리즘의 약간 변형은 커널 기반 알고리즘입니다. 주어진 TS에서 기능을 추출하는 무작위 컨볼루션 커널(가장 일반적인 컴퓨터 비전 알고리즘)을 배우고 사용합니다.
ROCKET(Random Convolution Kernel Transform) 알고리즘은 이 목적을 위해 특별히 설계되었습니다. . 길이, 가중치, 편향, 확장 및 패딩이 다양하고 고정된 분포에서 무작위로 생성되는 다수의 커널을 사용합니다.
커널을 선택한 후에는 클래스를 구별하기 위해 가장 관련성이 높은 기능을 선택할 수 있는 분류기도 필요합니다. 능형 회귀(선형 회귀의 L2 정규화된 변형)는 원본 논문에서 예측을 수행하는 데 사용되었습니다. 이를 사용하면 두 가지 이점이 있습니다. 첫째, 다중 클래스 분류 문제에도 계산 효율성이 있고, 둘째, 교차 검증을 사용하여 고유한 정규화 하이퍼파라미터를 미세 조정하는 단순성입니다.
커널 기반 알고리즘이나 ROCKET 알고리즘을 사용할 때의 핵심 장점 중 하나는 이를 사용하는 데 드는 계산 비용이 상당히 낮다는 것입니다.
특성 기반 방법은 일반적으로 주어진 시계열에 대해 일종의 특성 추출을 사용하는 대부분의 알고리즘을 다룰 수 있으며 예측은 분류 알고리즘에 의해 수행됩니다.
단순한 통계적 특징부터 보다 복잡한 푸리에 기반 특징까지 다양한 특징에 대해 알아보세요. 이러한 기능은 hctsa(https://github.com/benfulcher/hctsa)에서 찾을 수 있지만 각 기능을 시도하고 비교하는 것은 특히 대규모 데이터 세트의 경우 불가능한 작업일 수 있습니다. 따라서 일반적인 시계열 특징(catch22) 알고리즘이 제안되었습니다.
이 방법은 강력한 분류 성능이 필요할 뿐만 아니라 중복성을 더욱 최소화하는 작은 TS 기능 세트를 추론하는 것을 목표로 합니다. catch22는 hctsa 라이브러리에서 총 22개의 기능을 선택했습니다(라이브러리는 4000개 이상의 기능을 제공합니다).
이 방법의 개발자는 93개의 서로 다른 데이터세트에서 다양한 모델을 훈련하여 22개의 기능을 얻었고 이에 대해 가장 성능이 좋은 TS 기능을 평가하여 여전히 뛰어난 성능을 유지하는 작은 하위 집합을 만들었습니다. 분류자는 자유롭게 선택할 수 있으므로 조정해야 할 또 다른 하이퍼 매개변수가 됩니다.
또 다른 기능 기반 접근 방식은 기본 성능을 유지하면서 해석 가능한 결과를 제공할 수 있는 MP 기반 해석 가능한 TS 분류자인 MP(Matrix Profile) 분류자입니다.
디자이너들은 셰이프릿 기반 분류기에서 Matrix Profile이라는 모델을 추출했습니다. 모델은 TS의 하위 시퀀스와 가장 가까운 이웃 사이의 모든 거리를 나타냅니다. 이러한 방식으로 MP는 TS의 모티프, 불일치 등의 특징을 효과적으로 추출할 수 있습니다. 모티프는 서로 매우 유사한 TS의 하위 시퀀스인 반면, 불일치는 서로 다른 시퀀스를 설명합니다.
이론적 분류 모델로는 모든 모델을 사용할 수 있습니다. 이 방법의 개발자는 의사결정 트리 분류자를 선택했습니다.
언급된 두 가지 방법 외에도 sktime은 더 많은 기능 기반 TS 분류자를 제공합니다.
Model Ensemble 자체는 독립적인 알고리즘이 아니라 다양한 TS 분류기를 결합하여 더 나은 결합 예측을 생성하는 기술입니다. 모델 앙상블은 다수의 의사결정 트리를 사용하는 랜덤 포레스트와 유사하게 여러 개별 모델을 결합하여 분산을 줄입니다. 그리고 다양한 유형의 다양한 학습 알고리즘을 사용하면 더 광범위하고 다양한 학습 기능 세트가 생성되며, 이는 결과적으로 더 나은 계층 차별로 이어집니다.
가장 인기 있는 모델 앙상블은 HIVE-COTE(Hierarchical Vote Collective of Transformation-based Ensembles)입니다. 이는 다양한 종류의 유사한 버전으로 존재하지만 모두 공통점은 각 분류기에 대한 가중 평균을 사용하여 다양한 분류기의 정보, 즉 예측을 조합한다는 것입니다.
Sktime은 두 가지 서로 다른 HIVE-COTE 알고리즘을 사용합니다. 첫 번째 알고리즘은 STC(Shapelet Transform Classifier), TS 포리스트, RISE 및 cBOSS를 포함하여 추정기당 확률을 결합합니다. 두 번째는 STC, Diverse Canonical Interval Forest Classifier(DrCIF, TS Forest의 변형), Arsenal(ROCKET 모델 모음) 및 TDE(BOSS 알고리즘의 변형)의 조합으로 정의됩니다.
최종 예측은 훈련 데이터 세트에서 발견된 분류기의 상대적 추정 품질을 통해 얻은 각 분류기에 가중치를 할당하는 CAWPE 알고리즘을 통해 얻습니다.
다음 그림은 HIVE-COTE 알고리즘의 작동 구조를 시각화하기 위해 일반적으로 사용되는 다이어그램입니다.
딥 러닝 기반 알고리즘에 대해서는 긴 기사를 작성하여 설명할 수 있습니다. 관련 각 아키텍처에 대한 모든 세부 정보입니다. 그러나 이 문서에서는 일반적으로 사용되는 일부 TS 분류 벤치마크 모델 및 기술만 제공합니다.
딥 러닝 기반 알고리즘은 컴퓨터 비전, NLP 등의 분야에서 매우 널리 사용되고 널리 연구되는 반면, TS 분류 분야에서는 덜 일반적입니다. Fawazet al. TS 분류를 위한 딥 러닝에 대한 논문에서 현재 기존 방법에 대한 철저한 연구: 요약은 6개 아키텍처를 사용하여 60개 이상의 신경망(NN) 모델을 연구했습니다. -State Networks (Recurrent NNs 기반)
2020년에는 InceptionTime 네트워크도 출시되었습니다. InceptionTime은 Szegedy 등이 처음 제안한 InceptionTime에 의해 각각 생성된 5가지 딥러닝 모델의 앙상블입니다. 이러한 초기 모듈은 서로 다른 길이의 여러 필터를 TS에 동시에 적용하는 동시에 TS의 더 짧고 긴 하위 시퀀스에서 관련 기능과 정보를 추출합니다. 다음 그림은 InceptionTime 모듈을 보여줍니다.
피드포워드 방식으로 쌓이고 잔차로 연결된 여러 개의 초기 모듈로 구성됩니다. 마지막으로 전역 평균 풀링과 완전 연결된 신경망이 예측 결과를 생성합니다.
아래 그림은 단일 초기 모듈의 작동을 보여줍니다.
이 문서에 요약된 알고리즘, 모델 및 기술의 큰 목록은 시계열 분류 방법의 광범위한 분야를 이해하는 데 도움이 될 뿐만 아니라 여러분에게도 도움이 되기를 바랍니다
위 내용은 8가지 시계열 분류 방법 요약의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
