머신러닝에서 꼭 배워야 할 4가지 교차 검증 기술
소개
데이터세트에서 모델을 만드는 것을 고려해 보지만, 보이지 않는 데이터로 인해 실패합니다.
단순히 모델을 훈련 데이터에 맞추고 눈에 보이지 않는 실제 데이터에서 완벽하게 작동할 때까지 기다릴 수는 없습니다.
이것은 과적합의 예입니다. 우리 모델은 훈련 데이터에서 모든 패턴과 노이즈를 추출했습니다. 이러한 일이 발생하지 않도록 하려면 모델이 대부분의 패턴을 포착하고 데이터의 모든 노이즈(낮은 편향 및 낮은 분산)를 포착하지 않도록 하는 방법이 필요합니다. 이 문제를 해결하기 위한 많은 기술 중 하나가 교차 검증입니다.
교차 검증 이해하기
특정 데이터 세트에 1000개의 레코드가 있고 이에 대해 train_test_split()이 실행된다고 가정해 보겠습니다. 훈련 데이터가 70%이고 테스트 데이터가 30%로 Random_state = 0이라고 가정하면 이러한 매개변수의 정확도는 85%입니다. 이제, random_state = 50으로 설정하면 정확도가 87%로 향상된다고 가정해 보겠습니다.
이는 다양한 Random_state에 대한 정밀도 값을 계속 선택하면 변동이 발생한다는 것을 의미합니다. 이를 방지하기 위해 교차 검증이라는 기술이 사용됩니다.
교차 검증 유형
Leave One Out Cross Validation(LOOCV)
LOOCV에서는 1개의 데이터 포인트를 테스트로 선택하고 나머지 모든 데이터는 첫 번째 반복의 학습 데이터가 됩니다. 다음 반복에서는 다음 데이터 포인트를 테스트로 선택하고 나머지는 교육 데이터로 선택합니다. 마지막 데이터 포인트가 최종 반복에서 테스트로 선택되도록 전체 데이터 세트에 대해 이 작업을 반복합니다.
일반적으로 반복 교차 검증 절차에 대한 교차 검증 R²를 계산하려면 각 반복에 대한 R² 점수를 계산하고 평균을 구합니다.
모델 성능에 대한 신뢰할 수 있고 편견 없는 추정이 가능하지만 수행하는 데 계산 비용이 많이 듭니다.
2. K-폴드 교차 검증
K-폴드 CV에서는 데이터 세트를 k개의 하위 세트(폴드라고 함)로 분할한 다음 훈련을 시작하지만 그대로 둡니다. 훈련된 모델을 평가하기 위한 (k-1) 하위 집합입니다.
1000개의 레코드가 있고 K=5라고 가정합니다. 이 K 값은 5번의 반복이 있음을 의미합니다. 테스트 데이터에 대해 고려되는 첫 번째 반복의 데이터 포인트 수는 처음부터 1000/5=200입니다. 그런 다음 다음 반복에서는 다음 200개의 데이터 포인트가 테스트로 간주됩니다.
전체 정확도를 계산하기 위해 각 반복에 대한 정확도를 계산한 다음 평균을 취합니다.
이 프로세스에서 얻을 수 있는 최소 정확도는 모든 반복에서 생성된 가장 낮은 정확도가 되며, 마찬가지로 최대 정확도 는 모든 반복에서 생성된 가장 높은 정확도가 됩니다.
3 각 접기의 비율은 전체 데이터 세트에서와 동일합니다. 600개의 예와 400개의 아니요를 포함하는 1000개의 레코드가 있다고 가정합니다. 따라서 각 실험에서 각 클래스의 적어도 일부 인스턴스가 훈련 및 테스트 분할 모두에 존재하도록 훈련 및 테스트에 채워진 무작위 샘플이 채워지도록 보장합니다.
4.
시계열 교차 검증
시계열 CV에는 일련의 테스트 세트가 있으며 각 테스트 세트에는 관찰이 포함됩니다. 해당 훈련 세트에는 테스트 세트를 구성한 관찰 이전에 발생한 관찰만 포함됩니다. 따라서 미래의 관찰은 예측을 구성하는 데 사용될 수 없습니다. 예측 정확도는 테스트 세트의 평균을 계산하여 계산됩니다. 예측의 기반이 되는 "원산지"가 시간에 따라 롤포워드되기 때문에 이 프로세스를 "롤링 예측 원점 평가"라고도 합니다.
결론
기계 학습에서 우리는 일반적으로 훈련 세트에서 가장 잘 수행되는 알고리즘이나 모델을 원하지 않습니다. 대신 우리는 테스트 세트에서 잘 작동하는 모델과 새로운 입력 데이터가 주어지면 일관되게 잘 작동하는 모델을 원합니다. 교차 검증은 그러한 알고리즘이나 모델을 식별할 수 있는지 확인하는 중요한 단계입니다.
위 내용은 머신러닝에서 꼭 배워야 할 4가지 교차 검증 기술의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
AI Hentai Generator
AI Hentai를 무료로 생성하십시오.
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7324
9
1625
14
1350
46
1262
25
1209
29
이 기사에서는 SHAP: 기계 학습을 위한 모델 설명을 이해하도록 안내합니다.
Jun 01, 2024 am 10:58 AM
기계 학습 및 데이터 과학 분야에서 모델 해석 가능성은 항상 연구자와 실무자의 초점이었습니다. 딥러닝, 앙상블 방법 등 복잡한 모델이 널리 적용되면서 모델의 의사결정 과정을 이해하는 것이 특히 중요해졌습니다. explainable AI|XAI는 모델의 투명성을 높여 머신러닝 모델에 대한 신뢰와 확신을 구축하는 데 도움이 됩니다. 모델 투명성을 향상시키는 것은 여러 복잡한 모델의 광범위한 사용은 물론 모델을 설명하는 데 사용되는 의사 결정 프로세스와 같은 방법을 통해 달성할 수 있습니다. 이러한 방법에는 기능 중요도 분석, 모델 예측 간격 추정, 로컬 해석 가능성 알고리즘 등이 포함됩니다. 특성 중요도 분석은 모델이 입력 특성에 미치는 영향 정도를 평가하여 모델의 의사결정 과정을 설명할 수 있습니다. 모델 예측 구간 추정
C++에서 기계 학습 알고리즘 구현: 일반적인 과제 및 솔루션
Jun 03, 2024 pm 01:25 PM
C++의 기계 학습 알고리즘이 직면하는 일반적인 과제에는 메모리 관리, 멀티스레딩, 성능 최적화 및 유지 관리 가능성이 포함됩니다. 솔루션에는 스마트 포인터, 최신 스레딩 라이브러리, SIMD 지침 및 타사 라이브러리 사용은 물론 코딩 스타일 지침 준수 및 자동화 도구 사용이 포함됩니다. 실제 사례에서는 Eigen 라이브러리를 사용하여 선형 회귀 알고리즘을 구현하고 메모리를 효과적으로 관리하며 고성능 행렬 연산을 사용하는 방법을 보여줍니다.
대형 모델에 대한 새로운 과학적이고 복잡한 질문 답변 벤치마크 및 평가 시스템을 제공하기 위해 UNSW, Argonne, University of Chicago 및 기타 기관이 공동으로 SciQAG 프레임워크를 출시했습니다.
Jul 25, 2024 am 06:42 AM
편집자 |ScienceAI 질문 응답(QA) 데이터 세트는 자연어 처리(NLP) 연구를 촉진하는 데 중요한 역할을 합니다. 고품질 QA 데이터 세트는 모델을 미세 조정하는 데 사용될 수 있을 뿐만 아니라 LLM(대형 언어 모델)의 기능, 특히 과학적 지식을 이해하고 추론하는 능력을 효과적으로 평가하는 데에도 사용할 수 있습니다. 현재 의학, 화학, 생물학 및 기타 분야를 포괄하는 과학적인 QA 데이터 세트가 많이 있지만 이러한 데이터 세트에는 여전히 몇 가지 단점이 있습니다. 첫째, 데이터 형식이 비교적 단순하고 대부분이 객관식 질문이므로 평가하기 쉽지만 모델의 답변 선택 범위가 제한되고 모델의 과학적 질문 답변 능력을 완전히 테스트할 수 없습니다. 이에 비해 개방형 Q&A는
설명 가능한 AI: 복잡한 AI/ML 모델 설명
Jun 03, 2024 pm 10:08 PM
번역기 | 검토자: Li Rui | Chonglou 인공 지능(AI) 및 기계 학습(ML) 모델은 오늘날 점점 더 복잡해지고 있으며 이러한 모델에서 생성되는 출력은 이해관계자에게 설명할 수 없는 블랙박스입니다. XAI(Explainable AI)는 이해관계자가 이러한 모델의 작동 방식을 이해할 수 있도록 하고, 이러한 모델이 실제로 의사 결정을 내리는 방식을 이해하도록 하며, AI 시스템의 투명성, 이 문제를 해결하기 위한 신뢰 및 책임을 보장함으로써 이 문제를 해결하는 것을 목표로 합니다. 이 기사에서는 기본 원리를 설명하기 위해 다양한 설명 가능한 인공 지능(XAI) 기술을 살펴봅니다. 설명 가능한 AI가 중요한 몇 가지 이유 신뢰와 투명성: AI 시스템이 널리 수용되고 신뢰되려면 사용자가 의사 결정 방법을 이해해야 합니다.
머신러닝 분야 Golang 기술의 향후 동향 전망
May 08, 2024 am 10:15 AM
기계 학습 분야에서 Go 언어의 적용 가능성은 엄청납니다. 동시성: 병렬 프로그래밍을 지원하며 기계 학습 작업에서 계산 집약적인 작업에 적합합니다. 효율성: 가비지 수집기 및 언어 기능은 대규모 데이터 세트를 처리할 때에도 코드의 효율성을 보장합니다. 사용 용이성: 구문이 간결하므로 기계 학습 애플리케이션을 쉽게 배우고 작성할 수 있습니다.
탐지 알고리즘 개선: 고해상도 광학 원격탐사 이미지에서 표적 탐지용
Jun 06, 2024 pm 12:33 PM
01 전망 요약 현재로서는 탐지 효율성과 탐지 결과 간의 적절한 균형을 이루기가 어렵습니다. 우리는 광학 원격 탐사 이미지에서 표적 감지 네트워크의 효과를 향상시키기 위해 다층 특징 피라미드, 다중 감지 헤드 전략 및 하이브리드 주의 모듈을 사용하여 고해상도 광학 원격 감지 이미지에서 표적 감지를 위한 향상된 YOLOv5 알고리즘을 개발했습니다. SIMD 데이터 세트에 따르면 새로운 알고리즘의 mAP는 YOLOv5보다 2.2%, YOLOX보다 8.48% 우수하여 탐지 결과와 속도 간의 균형이 더 잘 이루어졌습니다. 02 배경 및 동기 원격탐사 기술의 급속한 발전으로 항공기, 자동차, 건물 등 지구 표면의 많은 물체를 묘사하기 위해 고해상도 광학 원격탐사 영상이 활용되고 있다. 원격탐사 이미지 해석에서 물체 감지
Flash Attention은 안정적인가요? Meta와 Harvard는 모델 중량 편차가 수십 배로 변동한다는 사실을 발견했습니다.
May 30, 2024 pm 01:24 PM
MetaFAIR는 대규모 기계 학습을 수행할 때 생성되는 데이터 편향을 최적화하기 위한 새로운 연구 프레임워크를 제공하기 위해 Harvard와 협력했습니다. 대규모 언어 모델을 훈련하는 데는 수개월이 걸리고 수백 또는 수천 개의 GPU를 사용하는 것으로 알려져 있습니다. LLaMA270B 모델을 예로 들면, 훈련에는 총 1,720,320 GPU 시간이 필요합니다. 대규모 모델을 교육하면 이러한 워크로드의 규모와 복잡성으로 인해 고유한 체계적 문제가 발생합니다. 최근 많은 기관에서 SOTA 생성 AI 모델을 훈련할 때 훈련 프로세스의 불안정성을 보고했습니다. 이는 일반적으로 손실 급증의 형태로 나타납니다. 예를 들어 Google의 PaLM 모델은 훈련 과정에서 최대 20번의 손실 급증을 경험했습니다. 수치 편향은 이러한 훈련 부정확성의 근본 원인입니다.
당신이 모르는 머신러닝의 5가지 학교
Jun 05, 2024 pm 08:51 PM
머신 러닝은 명시적으로 프로그래밍하지 않고도 컴퓨터가 데이터로부터 학습하고 능력을 향상시킬 수 있는 능력을 제공하는 인공 지능의 중요한 분야입니다. 머신러닝은 이미지 인식, 자연어 처리, 추천 시스템, 사기 탐지 등 다양한 분야에서 폭넓게 활용되며 우리의 삶의 방식을 변화시키고 있습니다. 기계 학습 분야에는 다양한 방법과 이론이 있으며, 그 중 가장 영향력 있는 5가지 방법을 "기계 학습의 5개 학교"라고 합니다. 5개 주요 학파는 상징학파, 연결주의 학파, 진화학파, 베이지안 학파, 유추학파이다. 1. 상징주의라고도 알려진 상징주의는 논리적 추론과 지식 표현을 위해 상징을 사용하는 것을 강조합니다. 이 사고 학교는 학습이 기존을 통한 역연역 과정이라고 믿습니다.
