기계 학습에서 일반적으로 사용되는 7가지 선형 차원 축소 기술 요약

이전 글에서는 비선형 차원 축소 기술을 주로 정리했습니다. 이번 글에서는 일반적인 선형 차원 축소 기술을 정리하겠습니다.

1. 주성분 분석(PCA)

PCA는 데이터의 주요 특징을 유지하면서 고차원 데이터 세트를 보다 관리하기 쉬운 저차원 표현으로 변환할 수 있는 널리 사용되는 차원 축소 기술입니다. PCA는 데이터에서 가장 큰 변화가 있는 방향(주요 구성 요소)을 식별함으로써 데이터를 이러한 방향으로 투영하여 차원 축소 목표를 달성할 수 있습니다.

PCA의 핵심 아이디어는 원본 데이터를 새로운 좌표계로 변환하여 데이터의 분산을 극대화하는 것입니다. 이러한 새 축을 주성분이라고 하며 원래 기능의 선형 조합입니다. 분산이 가장 큰 주성분을 유지하면 본질적으로 데이터의 주요 정보가 유지됩니다. 분산이 작은 주성분을 버리면 차원 축소의 목적을 달성할 수 있습니다.

PCA 단계는 다음과 같습니다.

1. 데이터 표준화: 각 특성의 평균이 0, 분산이 1이 되도록 원본 데이터를 표준화합니다.
2. 공분산 행렬 계산: 표준화된 데이터의 공분산 행렬을 계산합니다.
3. 고유값 및 고유벡터 계산: 공분산 행렬에서 고유값 분해를 수행하여 고유값 및 해당 고유벡터를 얻습니다.
4. 주성분 선택: 고유값의 크기에 따라 상위 k개의 고유벡터를 주성분으로 선택합니다. 여기서 k는 차원 축소 후의 차원입니다.
5. 투영 데이터: 원래 데이터를 선택한 주성분에 투영하여 차원적으로 축소된 데이터 세트를 얻습니다.

PCA는 데이터 차원 축소, 특징 추출, 패턴 인식과 같은 작업에 사용할 수 있습니다. PCA를 사용할 때에는 데이터가 선형 분리성의 기본 가정을 충족하는지 확인하고, 정확한 차원 감소 효과를 얻기 위해 필요한 데이터 전처리 및 이해를 수행해야 합니다.

2. 요인 분석(FA)

요인 분석(FA)은 관찰된 변수 간의 기본 구조 또는 요인을 식별하는 데 사용되는 통계 기법으로, 관찰된 변수 간의 공유 분산을 설명하는 잠재 요인을 찾아내는 것을 목표로 합니다.

FA와 PCA는 다소 유사하지만 몇 가지 중요한 차이점이 있습니다.

1. 목표: PCA는 최대 분산의 방향을 찾는 것을 목표로 하는 반면 FA는 최대 분산의 방향을 찾는 것을 목표로 합니다. 변수들 사이에서 관찰된 공통 변동을 설명하는 기본 변수(요인).
2. 가정: PCA는 관찰된 변수가 관찰된 원래 특징이라고 가정하고, FA는 관찰된 변수가 잠재 요인과 무작위 오류의 선형 조합의 합이라고 가정합니다.
3. 해석 가능성: PCA는 주요 구성 요소가 원래 기능의 선형 조합이기 때문에 더 간단한 경향이 있습니다. 그리고 FA 요인은 원시 특징이 아닌 관찰된 변수의 선형 조합이기 때문에 해석하기가 덜 쉬울 수 있습니다.
4. 회전: FA에서는 요인을 쉽게 해석할 수 있도록 회전하는 경우가 많습니다.

요인 분석은 심리학, 사회 과학, 시장 조사 등의 분야에서 널리 사용됩니다. 이는 데이터 세트를 단순화하고 기본 구조를 발견하며 측정 오류를 줄이는 데 도움이 됩니다. 그러나 결과가 해석 가능하고 타당하도록 하려면 요인 수와 회전 방법을 선택할 때 주의가 필요합니다.

3. 선형 판별 분석, LDA

선형 판별 분석(LDA)은 차원 축소 및 특징 추출을 위한 지도 학습 기술입니다. 주성분 분석(PCA)과는 데이터의 분산 구조뿐만 아니라 데이터의 범주 정보도 고려한다는 점에서 다릅니다. LDA는 서로 다른 범주 사이의 거리(클래스 간 확산)를 최대화하고 동일한 범주 내에서의 거리(클래스 내 확산)를 최소화하는 투사 방향을 찾는 것을 목표로 합니다.

LDA의 주요 단계는 다음과 같습니다.

1. 카테고리의 평균 벡터 계산: 각 카테고리에 대해 해당 카테고리에 속한 모든 샘플의 평균 벡터를 계산합니다.
2. 클래스 내 산포 행렬 계산: 각 범주에 대해 해당 범주에 속한 모든 샘플과 해당 평균 벡터 사이의 산포 행렬을 계산하고 합산합니다.
3. 클래스 간 분산 행렬 계산: 모든 범주의 평균 벡터와 전체 평균 벡터 간의 분산 행렬을 계산합니다.
4. 고유값 및 고유벡터 계산: 행렬의 역행렬에 클래스 간 분산 행렬을 곱하고 결과 행렬의 고유값 분해를 수행하여 고유값 및 고유벡터를 얻습니다.
5. 투영 방향 선택: 가장 큰 고유값을 가진 상위 k개의 고유벡터를 투영 방향으로 선택합니다. 여기서 k는 차원 축소 후의 차원입니다.
6. 투영 데이터: 원본 데이터를 선택한 투영 방향으로 투영하여 차원적으로 축소된 데이터를 얻습니다.

LDA의 장점은 데이터의 카테고리 정보를 고려하므로 생성된 예측이 다양한 카테고리 간의 차이를 더 잘 구분할 수 있다는 것입니다. 패턴 인식, 얼굴 인식, 음성 인식 및 기타 분야에서 널리 사용됩니다. LDA는 여러 클래스와 클래스 불균형을 처리할 때 몇 가지 문제에 직면할 수 있으므로 특별한 주의가 필요합니다.

4. 고유값 분해(Eigendecomposition)

고유값 분해(Eigendecomposition)는 정사각형 행렬을 분해하는 데 사용되는 수학적 기법입니다. 이는 정사각 행렬을 고유벡터 집합과 고유값의 곱으로 분해합니다. 고유벡터는 변환 중에 방향이 변경되지 않는 방향을 나타내고, 고유값은 변환 중에 이러한 방향을 따른 스케일링을 나타냅니다.

정방 행렬 AA가 주어지면 고유값 분해는 다음과 같이 표현됩니다.

여기서 Q는 A의 고유 벡터로 구성된 행렬이고, Λ는 대각 행렬이고 대각선의 요소는 고유값입니다. A의

고유값 분해에는 주성분 분석(PCA), 고유면 인식, 스펙트럼 클러스터링 등을 비롯한 다양한 응용 분야가 있습니다. PCA에서는 고유값 분해를 사용하여 데이터의 공분산 행렬의 고유벡터와 데이터의 주성분을 찾습니다. 스펙트럼 클러스터링에서는 고유치 분해(eigenvalue decomposition)를 이용하여 유사성 맵의 고유벡터를 찾아 클러스터링을 수행한다. 고유얼굴 인식은 고유값 분해를 사용하여 얼굴 이미지의 중요한 특징을 식별합니다.

고유값 분해는 많은 응용 분야에서 매우 유용하지만 모든 정사각 행렬을 고유값 분해할 수 있는 것은 아닙니다. 예를 들어, 특이 행렬이나 비정방 행렬은 고유값 분해가 불가능합니다. 고유값 분해는 대규모 행렬을 계산하는 데 매우 많은 시간이 소요될 수 있습니다.

5. 특이값 분해(SVD)

특이값 분해(SVD)는 행렬 분해에 중요한 기술입니다. 행렬을 직교 행렬, 대각 행렬, 또 다른 직교 행렬의 전치인 세 행렬의 곱으로 분해합니다.

m × n 행렬 AA가 주어지면 특이값 분해는 다음과 같이 표현됩니다.

여기서, U는 왼쪽 특이 벡터 행렬이라고 불리는 m × m 직교 행렬입니다. Σ는 m × n 대각 행렬입니다. , 대각선의 요소는 특이값이라고 합니다. VT는 오른쪽 특이 벡터 행렬이라고 하는 n × n 직교 행렬의 전치입니다.

특이값 분해에는 데이터 압축, 차원 축소, 역행렬 솔루션, 추천 시스템 등을 포함하여 광범위한 응용 분야가 있습니다. 차원 축소에서는 특이값이 더 큰 항목만 유지되므로 데이터의 효과적인 압축 및 표현이 가능합니다. 추천 시스템에서는 특이값 분해를 통해 사용자와 아이템 간의 관계를 모델링하여 개인화된 추천을 제공할 수 있습니다.

특이값 분해는 특히 특이 행렬의 역행렬을 푸는 데에도 사용할 수 있습니다. 특이값이 더 큰 항을 유지함으로써 역행렬을 근사적으로 풀 수 있어 특이행렬이 반전되는 문제를 피할 수 있습니다.

6. TSVD(Truncate Singular Value Decomposition)

TSVD(Truncated Singular Value Decomposition)는 SVD(Singular Value Decomposition)의 변형으로, 계산에서 가장 중요한 특이값 합만 유지하여 대응하는 특이 벡터를 사용하여 차원성을 달성합니다. 데이터의 축소 및 압축.

m × n 행렬 AA가 주어지면 잘린 특이값 분해는 다음과 같이 표현됩니다.

여기서, Uk는 m × k 직교 행렬이고, Σk는 k × k 대각 행렬이고, VkT는 k × n의 전치입니다. 가장 중요한 k개의 특이값과 이에 대응하는 특이 벡터를 유지하는 데 해당하는 직교 행렬.

TSVD의 가장 큰 장점은 가장 중요한 특이값과 특이 벡터를 유지하여 데이터의 차원 축소 및 압축을 달성할 수 있어 저장 및 컴퓨팅 비용을 줄일 수 있다는 것입니다. 이는 필요한 저장 공간과 계산 시간을 크게 줄일 수 있으므로 대규모 데이터 세트로 작업할 때 특히 유용합니다.

TSVD는 이미지 처리, 신호 처리, 추천 시스템 등 다양한 분야에 응용됩니다. 이러한 애플리케이션에서 TSVD는 데이터의 차원을 줄이고, 노이즈를 제거하고, 주요 특징을 추출하는 등의 작업에 사용될 수 있습니다.

7. NMF(Non-Negative Matrix Factorization)

NMF(Non-Negative Matrix Factorization)는 데이터 분해 및 차원 축소를 위한 기술로, 분해를 통해 얻은 행렬과 벡터가 음수가 아닌 것이 특징입니다. 이로 인해 NMF는 특히 텍스트 마이닝, 이미지 처리 및 추천 시스템과 같은 영역에서 많은 응용 프로그램에 유용하게 사용됩니다.

음수가 아닌 행렬 VV가 주어지면 NMF는 이를 두 개의 음수가 아닌 행렬 WW 및 HH의 곱 형태로 분해합니다.

여기서 W는 기본 행렬이라고 하는 m × k의 음이 아닌 행렬입니다. (기저 행렬) 또는 특징 행렬인 H는 계수 행렬이라고 불리는 k × n 음수가 아닌 행렬입니다. 여기서 k는 차원 축소 후의 차원입니다.

NMF의 장점은 모든 원소가 음수가 아니기 때문에 물리적 의미가 있는 분해 결과를 얻을 수 있다는 점입니다. 이를 통해 NMF는 텍스트 마이닝에서 숨겨진 주제를 발견하고 이미지 처리에서 이미지의 특징을 추출할 수 있습니다. 또한 NMF에는 데이터 차원 축소 기능도 있어 데이터의 차원성과 저장 공간을 줄일 수 있습니다.

NMF의 응용 분야에는 텍스트 주제 모델링, 이미지 분할 및 압축, 오디오 신호 처리, 추천 시스템 등이 포함됩니다. 이러한 분야에서 NMF는 데이터 분석, 특징 추출, 정보 검색 및 분류 등의 작업에 널리 사용됩니다.

요약

선형 차원 축소 기술은 고차원 데이터 세트를 저차원 공간에 매핑하는 기술의 일종으로, 선형 변환을 통해 데이터 세트의 주요 특징을 유지하는 것이 핵심입니다. 이러한 선형 차원 축소 기술은 다양한 응용 시나리오에서 고유한 장점과 적용 가능성을 가지며, 데이터의 특성과 작업 요구 사항에 따라 적절한 방법을 선택할 수 있습니다. 예를 들어 PCA는 비지도 데이터 차원 축소에 적합한 반면 LDA는 지도 학습 작업에 적합합니다.

이전 글을 바탕으로 10가지 비선형 차원 축소 기술과 7가지 선형 차원 축소 기술을 소개했습니다. 요약하자면

선형 차원 축소 기술: 선형 변환을 기반으로 데이터를 저차원 공간에 매핑하는 데 적합합니다. 데이터 포인트가 선형 부분 공간에 분산되어 있는 경우와 같은 알고리즘은 계산적으로 효율적이고 이해 및 구현이 쉽기 때문에 일반적으로 데이터의 비선형 구조를 캡처할 수 없습니다. 분실되었습니다.

비선형 차원 축소 기술: 비선형 변환을 통해 데이터를 저차원 공간에 매핑합니다. 매니폴드에 분산된 데이터 포인트와 같은 비선형 구조가 있는 데이터 세트에 적합하며 데이터 구조 및 로컬 관계에서 비선형성을 더 잘 유지할 수 있습니다. 시각화 효과, 더 높은 계산 복잡성, 일반적으로 더 많은 컴퓨팅 리소스와 시간이 필요합니다.

데이터가 선형적으로 분리 가능하거나 컴퓨팅 리소스가 제한적인 경우 선형 차원 축소 기술을 선택할 수 있습니다. 데이터에 복잡한 비선형 구조가 포함되어 있거나 더 나은 시각화가 필요한 경우 비선형 차원 축소 기술 사용을 고려할 수 있습니다. 실제로는 다양한 방법을 시도하고 실제 효과에 따라 가장 적절한 차원 축소 기술을 선택할 수도 있습니다.

위 내용은 기계 학습에서 일반적으로 사용되는 7가지 선형 차원 축소 기술 요약의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!