머신러닝 기반의 수치적 거리: 공간 내 점 사이의 거리
이 글은 위챗 공개 계정 '정보화 시대에 살기'에서 재인쇄되었습니다. 이 기사를 재인쇄하려면 Living in the Information Age 공개 계정에 문의하세요.
머신러닝에서는 두 샘플 간의 유사성과 카테고리 정보를 평가할 수 있도록 두 샘플의 차이를 판단하는 방법이 기본 개념입니다. 이러한 유사성을 판단하는 척도는 특징 공간에서 두 샘플 사이의 거리입니다.
다양한 데이터 특성에 따라 다양한 측정 방법이 있습니다. 일반적으로 두 데이터 샘플 x, y에 대해 함수 d(x, y)를 정의합니다. 두 샘플 사이의 거리로 정의되면 d(x, y)는 다음 기본 속성을 충족해야 합니다.
비음수: d(x,y)>=0- 동일성: d(x,y)=0 ⇔ x=y
- 대칭: d(x,y)=d(y, x)
- 삼각형 불평등: d(x, y)
- 일반적으로 일반적인 거리 측정에는 다음이 포함됩니다: 공간 내 점의 거리, 문자열 거리에는 네 가지 유형이 있습니다. 세트, 변수/개념 분포 사이의 거리.
오늘은 먼저 우주에서 가장 흔히 사용되는 점의 거리를 소개하겠습니다.
공간 내 점 사이의 거리는 다음과 같은 유형이 있습니다.
1. 유클리드 거리두 점 사이의 거리가 사람들에게 가장 친숙한 거리임은 의심의 여지가 없습니다. 사이의 거리. 중학교 수학을 공부한 학생들은 모두 2차원 공간에서 데카르트 좌표계의 두 점 사이의 거리를 계산하는 방법을 알고 있습니다. 계산 공식은 다음과 같습니다.
Manhattan Distance는 택시 거리라고도 불리며, 수평 및 수직 블록이 많은 뉴욕 맨해튼에서 유래되었습니다. 택시 운전사가 한 지점에서 다른 지점으로 걸어가려고 할 때 직선 거리를 계산하는 것은 쓸모가 없습니다. 택시가 건물 위로 날아갈 수 없기 때문입니다. 따라서 이 거리는 일반적으로 두 지점의 동서 거리와 남북 거리를 각각 빼고 더하여 계산됩니다. 이것이 택시가 실제로 이동해야 하는 거리입니다.
사진에 표시된 것처럼 빨간색 선과 노란색 선은 서로 다른 두 경로의 맨해튼 거리입니다. 수학적으로 2차원 공간에서 맨해튼 거리를 계산하는 방법은 다음과 같습니다.
체비셰프 거리는 두 점 사이의 각 좌표의 수치 차이로 정의됩니다. .최대값.
가장 직관적인 예는 체스의 왕입니다. 왜냐하면 옆으로, 직선으로, 대각선으로 움직일 수 있지만 한 번에 한 칸만 움직일 수 있기 때문에 체비쇼프 거리는 그가 다른 칸으로 이동해야 할 때입니다. 그리드에 필요한 최소 거리.
민코프스키 거리 자체는 특별한 거리가 아니고, 여러 거리(맨해튼 거리, 유클리드 거리, 체비셰프 거리)의 조합을 하나의 공식으로 합친 것입니다.
두 개의 n차원 변수에 대해 Min의 거리는 다음과 같이 정의됩니다.
p=1이면
이 현재 맨해튼 거리임을 알 수 있습니다.
p=2일 때
이 이때의 유클리드 거리임을 알 수 있습니다.
p=π일 때
이 체비쇼프 거리임을 알 수 있습니다.
5. 표준화된 유클리드 거리
유클리드 거리는 두 점 사이의 직선 거리를 측정할 수 있지만 경우에 따라 다른 단위의 영향을 받을 수도 있습니다. 예를 들어, 동시에 5mm의 키 차이와 5kg의 체중 차이가 있다면, 인식은 전혀 다를 수 있습니다. 세 가지 모델을 클러스터링하려는 경우 해당 속성은 다음과 같습니다.
A: 65000000mg(예: 65kg), 1.74m
B: 60000000mg(예: 60kg), 1.70m
C: 65000000mg( 즉, 65kg), 1.40미터
우리가 일반적으로 이해하는 바에 따르면 A와 B는 더 나은 수치를 지닌 모델이므로 동일한 카테고리로 분류되어야 합니다. 그러나 실제로 위의 단위로 계산해 보면 A와 B의 차이보다 A와 C의 차이가 더 큰 것을 알 수 있다. 그 이유는 속성의 서로 다른 측정 단위로 인해 과도한 수치 차이가 발생하기 때문입니다. 동일한 데이터가 다른 장치로 변경된 경우.
A: 65kg, 174cm
B: 60kg, 170cm
C: 65kg, 140cm
그러면 우리가 생각한 결과인 A와 B를 같은 카테고리로 분류하게 됩니다. 따라서 측정 단위의 차이로 인한 이러한 차이를 방지하기 위해 표준화된 유클리드 거리를 도입해야 합니다. 이 거리 계산에서 각 구성 요소는 평균과 분산이 동일한 구간으로 정규화됩니다.
샘플 세트 X의 평균(평균)이 m이고 표준 편차(표준 편차)가 s라고 가정하면 값의 "표준화 변수" - 구성 요소의 평균) / 표준 편차 요소. 간단한 유도 후에 두 n차원 벡터 간의 표준화된 유클리드 거리 공식을 얻을 수 있습니다.
분산의 역수를 가중치로 간주하면 이 공식은 가중 유클리드 거리(Weighted Euclidean Distance)로 간주될 수 있습니다. 유클리드 거리). 이 작업을 통해 서로 다른 중량 단위 간의 차이를 효과적으로 제거합니다.
6. 랜스 거리(Lance and Williams Distance)
민의 거리와 다양한 지표의 차이를 극복한 무차원 지표입니다. 큰 특이값에 민감하지 않으므로 스케줄링 편향이 있는 데이터에 특히 적합합니다. 그러나 이 거리는 변수 간의 상관관계도 고려하지 않습니다. 따라서 변수 간의 상관관계를 고려해야 한다면 여전히 Mahalanobis 거리가 필요합니다.
7. 마할라노비스 거리
값을 정규화하면 문제가 없나요? 아마도. 예를 들어 1차원 예에서 두 개의 클래스가 있는 경우 한 클래스의 평균은 0, 분산은 0.1이고 다른 클래스의 평균은 5, 분산 5입니다. 그렇다면 값이 2인 점이 어느 카테고리에 속해야 할까요? 우리는 그것이 두 번째 범주임에 틀림없다고 직관적으로 생각합니다. 왜냐하면 첫 번째 범주는 분명히 수치적으로 2에 도달할 가능성이 없기 때문입니다. 그러나 실제로 거리를 두고 계산하면 숫자 2가 첫 번째 범주에 속해야 합니다.
따라서 작은 차이가 있는 차원에서는 작은 차이도 이상값이 될 수 있습니다. 예를 들어, 아래 그림에서 A와 B는 원점으로부터 같은 거리에 있지만 전체 표본이 가로축을 따라 분포되어 있기 때문에 B점은 표본 내의 한 점이 될 가능성이 높고 A점은 더 가깝습니다. 이상치일 가능성이 높습니다.
차원이 독립적이지 않고 동일하게 분포된 경우에도 문제가 발생합니다. 예를 들어 아래 그림에서 점 A와 점 B는 원점으로부터의 거리와 같지만 주요 분포는 유사합니다. f(x) =x이므로 A는 이상치에 더 가깝습니다.
이 경우 표준화된 유클리드 거리에도 문제가 있으므로 마할라노비스 거리를 도입해야 함을 알 수 있습니다.
마할라노비스 거리는 주성분에 따라 변수를 회전시켜 차원을 서로 독립적으로 만든 다음 표준화하여 차원을 균등하게 분포시킵니다. 주성분은 고유벡터의 방향이므로 고유벡터의 방향에 따라 회전한 다음 고유값 시간을 조정하면 됩니다. 예를 들어 위 이미지를 변환하면 다음과 같은 결과를 얻게 됩니다.
이상값이 성공적으로 분리된 것을 확인할 수 있습니다.
마할라노비스 거리는 인도 수학자 마할라노비스가 제안한 것으로 데이터의 공분산 거리를 나타냅니다. 두 개의 알려지지 않은 샘플 세트의 유사성을 계산하는 효율적인 방법입니다.
평균
및 공분산 행렬 Σ를 갖는 다변량 벡터
의 경우 Mahalanobis 거리(단일 데이터 포인트의 Mahalanobis 거리)는 다음과 같습니다.
For 동일한 분포를 따르고 공분산 행렬이 Σ인 두 확률 변수 X와 Y 간의 차이 정도, 데이터 점 x, y 사이의 Mahalanobis 거리는 다음과 같습니다.
공분산 행렬이 항등 행렬을 사용하면 Mahalanobis 거리가 유클리드 거리로 단순화됩니다. 공분산 행렬이 대각 행렬인 경우 Mahalanobis 거리는 표준화된 유클리드 거리가 됩니다.
이름에서 알 수 있듯이 코사인 거리는 거리나 길이가 아닌 두 벡터의 방향 차이를 측정하는 데 사용할 수 있습니다. 코사인 값이 0이면 두 벡터는 직교하고 끼인각은 90도입니다. 각도가 작을수록 코사인 값이 1에 가까워지고 방향이 더 일관됩니다. N차원 공간에서 코사인 거리는 다음과 같습니다.
코사인 거리는 삼각형 부등식을 만족하지 않는다는 점을 지적할 가치가 있습니다. 측지선 거리는 원래 구 표면 사이의 최단 거리를 의미합니다. 특징 공간이 평면인 경우 측지선 거리는 유클리드 거리입니다. 비유클리드 기하학에서 구의 두 점 사이의 가장 짧은 선은 두 점을 연결하는 큰 호입니다. 구의 삼각형과 다각형의 측면도 이러한 큰 호로 구성됩니다.
10. Bray Curtis 거리
Bray Curtis 거리는 식물학, 생태학, 환경 과학에서 주로 사용되며, 표본 간의 차이를 계산하는 데 사용될 수 있습니다. 공식은 다음과 같습니다.
값은 [0, 1] 사이에 있습니다. 두 벡터 좌표가 모두 0이면 값은 의미가 없습니다.
위 내용은 머신러닝 기반의 수치적 거리: 공간 내 점 사이의 거리의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











이미지 주석은 이미지 콘텐츠에 더 깊은 의미와 설명을 제공하기 위해 이미지에 레이블이나 설명 정보를 연결하는 프로세스입니다. 이 프로세스는 비전 모델을 훈련하여 이미지의 개별 요소를 보다 정확하게 식별하는 데 도움이 되는 기계 학습에 매우 중요합니다. 이미지에 주석을 추가함으로써 컴퓨터는 이미지 뒤의 의미와 맥락을 이해할 수 있으므로 이미지 내용을 이해하고 분석하는 능력이 향상됩니다. 이미지 주석은 컴퓨터 비전, 자연어 처리, 그래프 비전 모델 등 다양한 분야를 포괄하여 차량이 도로의 장애물을 식별하도록 지원하는 등 광범위한 애플리케이션을 보유하고 있습니다. 의료영상인식을 통한 질병진단. 이 기사에서는 주로 더 나은 오픈 소스 및 무료 이미지 주석 도구를 권장합니다. 1.마케센스

기계 학습 및 데이터 과학 분야에서 모델 해석 가능성은 항상 연구자와 실무자의 초점이었습니다. 딥러닝, 앙상블 방법 등 복잡한 모델이 널리 적용되면서 모델의 의사결정 과정을 이해하는 것이 특히 중요해졌습니다. explainable AI|XAI는 모델의 투명성을 높여 머신러닝 모델에 대한 신뢰와 확신을 구축하는 데 도움이 됩니다. 모델 투명성을 향상시키는 것은 여러 복잡한 모델의 광범위한 사용은 물론 모델을 설명하는 데 사용되는 의사 결정 프로세스와 같은 방법을 통해 달성할 수 있습니다. 이러한 방법에는 기능 중요도 분석, 모델 예측 간격 추정, 로컬 해석 가능성 알고리즘 등이 포함됩니다. 특성 중요도 분석은 모델이 입력 특성에 미치는 영향 정도를 평가하여 모델의 의사결정 과정을 설명할 수 있습니다. 모델 예측 구간 추정

일반인의 관점에서 보면 기계 학습 모델은 입력 데이터를 예측된 출력에 매핑하는 수학적 함수입니다. 보다 구체적으로, 기계 학습 모델은 예측 출력과 실제 레이블 사이의 오류를 최소화하기 위해 훈련 데이터로부터 학습하여 모델 매개변수를 조정하는 수학적 함수입니다. 기계 학습에는 로지스틱 회귀 모델, 의사결정 트리 모델, 지원 벡터 머신 모델 등 다양한 모델이 있습니다. 각 모델에는 적용 가능한 데이터 유형과 문제 유형이 있습니다. 동시에, 서로 다른 모델 간에는 많은 공통점이 있거나 모델 발전을 위한 숨겨진 경로가 있습니다. 연결주의 퍼셉트론을 예로 들면, 퍼셉트론의 은닉층 수를 늘려 심층 신경망으로 변환할 수 있습니다. 퍼셉트론에 커널 함수를 추가하면 SVM으로 변환할 수 있다. 이 하나

이 글에서는 학습 곡선을 통해 머신러닝 모델에서 과적합과 과소적합을 효과적으로 식별하는 방법을 소개합니다. 과소적합 및 과적합 1. 과적합 모델이 데이터에 대해 과도하게 훈련되어 데이터에서 노이즈를 학습하는 경우 모델이 과적합이라고 합니다. 과적합된 모델은 모든 예를 너무 완벽하게 학습하므로 보이지 않거나 새로운 예를 잘못 분류합니다. 과대적합 모델의 경우 완벽/거의 완벽에 가까운 훈련 세트 점수와 형편없는 검증 세트/테스트 점수를 얻게 됩니다. 약간 수정됨: "과적합의 원인: 복잡한 모델을 사용하여 간단한 문제를 해결하고 데이터에서 노이즈를 추출합니다. 훈련 세트로 사용되는 작은 데이터 세트는 모든 데이터를 올바르게 표현하지 못할 수 있기 때문입니다."

1950년대에는 인공지능(AI)이 탄생했다. 그때 연구자들은 기계가 사고와 같은 인간과 유사한 작업을 수행할 수 있다는 것을 발견했습니다. 이후 1960년대에 미국 국방부는 인공 지능에 자금을 지원하고 추가 개발을 위해 실험실을 설립했습니다. 연구자들은 우주 탐사, 극한 환경에서의 생존 등 다양한 분야에서 인공지능의 응용 분야를 찾고 있습니다. 우주탐험은 지구를 넘어 우주 전체를 포괄하는 우주에 대한 연구이다. 우주는 지구와 조건이 다르기 때문에 극한 환경으로 분류됩니다. 우주에서 생존하려면 많은 요소를 고려해야 하며 예방 조치를 취해야 합니다. 과학자와 연구자들은 우주를 탐험하고 모든 것의 현재 상태를 이해하는 것이 우주가 어떻게 작동하는지 이해하고 잠재적인 환경 위기에 대비하는 데 도움이 될 수 있다고 믿습니다.

C++의 기계 학습 알고리즘이 직면하는 일반적인 과제에는 메모리 관리, 멀티스레딩, 성능 최적화 및 유지 관리 가능성이 포함됩니다. 솔루션에는 스마트 포인터, 최신 스레딩 라이브러리, SIMD 지침 및 타사 라이브러리 사용은 물론 코딩 스타일 지침 준수 및 자동화 도구 사용이 포함됩니다. 실제 사례에서는 Eigen 라이브러리를 사용하여 선형 회귀 알고리즘을 구현하고 메모리를 효과적으로 관리하며 고성능 행렬 연산을 사용하는 방법을 보여줍니다.

번역기 | 검토자: Li Rui | Chonglou 인공 지능(AI) 및 기계 학습(ML) 모델은 오늘날 점점 더 복잡해지고 있으며 이러한 모델에서 생성되는 출력은 이해관계자에게 설명할 수 없는 블랙박스입니다. XAI(Explainable AI)는 이해관계자가 이러한 모델의 작동 방식을 이해할 수 있도록 하고, 이러한 모델이 실제로 의사 결정을 내리는 방식을 이해하도록 하며, AI 시스템의 투명성, 이 문제를 해결하기 위한 신뢰 및 책임을 보장함으로써 이 문제를 해결하는 것을 목표로 합니다. 이 기사에서는 기본 원리를 설명하기 위해 다양한 설명 가능한 인공 지능(XAI) 기술을 살펴봅니다. 설명 가능한 AI가 중요한 몇 가지 이유 신뢰와 투명성: AI 시스템이 널리 수용되고 신뢰되려면 사용자가 의사 결정 방법을 이해해야 합니다.

머신 러닝은 명시적으로 프로그래밍하지 않고도 컴퓨터가 데이터로부터 학습하고 능력을 향상시킬 수 있는 능력을 제공하는 인공 지능의 중요한 분야입니다. 머신러닝은 이미지 인식, 자연어 처리, 추천 시스템, 사기 탐지 등 다양한 분야에서 폭넓게 활용되며 우리의 삶의 방식을 변화시키고 있습니다. 기계 학습 분야에는 다양한 방법과 이론이 있으며, 그 중 가장 영향력 있는 5가지 방법을 "기계 학습의 5개 학교"라고 합니다. 5개 주요 학파는 상징학파, 연결주의 학파, 진화학파, 베이지안 학파, 유추학파이다. 1. 상징주의라고도 알려진 상징주의는 논리적 추론과 지식 표현을 위해 상징을 사용하는 것을 강조합니다. 이 사고 학교는 학습이 기존을 통한 역연역 과정이라고 믿습니다.
