기계 학습: 트리 모델의 힘을 과소평가하지 마세요

복잡성으로 인해 신경망은 종종 모든 기계 학습 문제를 해결하기 위한 "성배"로 간주됩니다. 반면, 트리 기반 방법은 주로 그러한 알고리즘의 명백한 단순성으로 인해 동등한 관심을 받지 못했습니다. 하지만 이 두 알고리즘은 다르게 보일 수도 있지만 동전의 양면과 같아서 둘 다 중요합니다.

트리 모델 VS 신경망

트리 기반 방법은 일반적으로 신경망보다 낫습니다. 본질적으로 트리 기반 방법과 신경망 기반 방법은 둘 다 서포트 벡터 머신이나 로지스틱 회귀와 같은 복잡한 경계를 통해 전체 데이터 세트를 분할하는 대신 단계별 해체를 통해 문제에 접근하기 때문에 동일한 범주에 배치됩니다. .

분명히 트리 기반 방법은 정보 획득을 최적화하기 위해 다양한 특징에 따라 특징 공간을 점진적으로 분할합니다. 덜 분명한 것은 신경망도 비슷한 방식으로 작업에 접근한다는 것입니다. 각 뉴런은 특징 공간의 특정 부분(여러 겹침)을 모니터링합니다. 입력이 이 공간에 들어오면 특정 뉴런이 활성화됩니다. ​

신경망은 확률론적 관점에서 이 조각별 모델을 보는 반면, 트리 기반 방법은 결정론적 관점을 취합니다. 그럼에도 불구하고 두 가지 모두의 성능은 모델의 깊이에 따라 달라집니다. 왜냐하면 해당 구성 요소가 특징 공간의 다양한 부분과 연관되어 있기 때문입니다.

구성 요소(트리 모델의 경우 노드, 신경망의 경우 뉴런)가 너무 많은 모델은 과적합되는 반면, 구성 요소가 너무 적은 모델은 의미 있는 예측을 제공할 수 없습니다. (둘 다 일반화하는 법을 배우기보다는 데이터 포인트를 암기하는 것부터 시작합니다.)

신경망이 특징 공간을 나누는 방식을 더 직관적으로 이해하려면 보편 근사 정리를 소개하는 이 기사를 읽어보세요: https: //medium.com/analytics -vidhya/당신은 이해하지 못합니다-신경망-당신이 이해할 때까지-보편적-근사-이론-85b3e7677126.

Random Forest, Gradient Boosting, AdaBoost 및 Deep Forest와 같은 강력한 의사 결정 트리 변형이 많이 있지만 일반적으로 트리 기반 방법은 본질적으로 신경망의 단순화된 버전입니다.

Tree 기반 방법은 수직선과 수평선을 통해 문제를 하나씩 해결하여 엔트로피(최적화 및 손실)를 최소화합니다. 신경망은 활성화 기능을 사용하여 문제를 하나씩 해결합니다.

트리 기반 방법은 확률보다는 결정적입니다. 이는 자동 기능 선택과 같은 몇 가지 멋진 단순화를 제공합니다.

의사결정 트리의 활성화된 조건 노드는 신경망의 활성화된 뉴런(정보 흐름)과 유사합니다.

신경망은 매개변수 맞춤을 통해 입력을 변환하고 후속 뉴런의 활성화를 간접적으로 안내합니다. 의사결정 트리는 정보 흐름을 안내하는 매개변수에 명시적으로 적합합니다. (결정론적 대 확률론의 결과입니다.)

정보는 두 모델에서 비슷하게 흐르지만 트리 모델에서는 더 간단한 방식으로 흐릅니다.

트리 모델에서 1과 0의 선택 VS 신경망의 확률적 선택

물론 이는 추상적인 결론이며 논란의 여지가 있을 수도 있습니다. 물론, 이러한 연결을 맺는 데에는 많은 장애물이 있습니다. 그럼에도 불구하고 이는 트리 기반 방법이 신경망보다 나은 시기와 이유를 이해하는 데 중요한 부분입니다.

의사결정 트리가 표 또는 표 형식의 구조화된 데이터로 작업하는 것은 자연스러운 일입니다. 대부분의 사람들은 신경망을 사용하여 표 형식 데이터에 대한 회귀 및 예측을 수행하는 것이 과잉이라는 데 동의하므로 여기서는 몇 가지 단순화를 수행합니다. 확률보다는 1과 0을 선택하는 것이 두 알고리즘 간의 차이의 주요 원인입니다. 따라서 구조화된 데이터와 같이 확률이 필요하지 않은 상황에 트리 기반 방법을 성공적으로 적용할 수 있습니다.

예를 들어, 트리 기반 방법은 각 숫자에 몇 가지 필수 기능이 있기 때문에 MNIST 데이터세트에서 좋은 성능을 보여줍니다. 확률을 계산할 필요가 없으며 문제가 그다지 복잡하지 않기 때문에 잘 설계된 트리 앙상블 모델이 현대 컨볼루션 신경망과 같거나 더 나은 성능을 발휘할 수 있습니다.

일반적으로 사람들은 "트리 기반 방법은 규칙만 기억한다"라고 말하는 경향이 있는데, 이는 맞습니다. 신경망은 더 복잡한 확률 기반 규칙을 기억할 수 있다는 점만 제외하면 동일합니다. x>3과 같은 조건에 대해 참/거짓 예측을 명시적으로 제공하는 대신 신경망은 입력을 매우 높은 값으로 증폭하여 시그모이드 값 1을 생성하거나 연속 표현식을 생성합니다.

한편, 신경망은 너무 복잡하기 때문에 신경망으로 할 수 있는 일이 많습니다. 컨벌루션 레이어와 순환 레이어는 처리하는 데이터에 확률 계산의 미묘한 차이가 필요한 경우가 많기 때문에 신경망의 탁월한 변형입니다.

1과 0으로 모델링할 수 있는 이미지는 거의 없습니다. 의사결정 트리 값은 중간 값(예: 0.5)이 많은 데이터세트를 처리할 수 없으므로 픽셀 값이 거의 모두 검은색 또는 흰색인 MNIST 데이터세트에서는 잘 수행되지만 다른 데이터세트의 픽셀 값은 그렇지 않습니다(예: ImageNet). . 마찬가지로 텍스트에는 결정론적인 용어로 표현하기에는 너무 많은 정보와 변칙 사항이 너무 많습니다.

이러한 분야에서 신경망이 주로 활용되는 이유도 있고, 대량의 이미지와 텍스트 데이터가 없던 초기(21세기 초반)에 신경망 연구가 정체된 이유도 바로 여기에 있습니다. 신경망의 다른 일반적인 용도는 매우 크고 확률을 사용해야 하는 YouTube 동영상 추천 알고리즘과 같은 대규모 예측으로 제한됩니다.

Zoom 비디오의 배경을 흐리게 하는 것과 같은 강력한 애플리케이션을 구축하지 않는 한 어느 회사의 데이터 과학 팀이라도 신경망 대신 트리 기반 모델을 사용할 것입니다. 그러나 일상적인 비즈니스 분류 작업에서 트리 기반 방법은 결정론적 특성으로 인해 이러한 작업을 가볍게 만들고 해당 방법은 신경망과 동일합니다.

많은 실제 상황에서 결정론적 모델링이 확률론적 모델링보다 더 자연스럽습니다. 예를 들어, 사용자가 전자상거래 웹사이트에서 품목을 구매할지 여부를 예측하려면 사용자가 자연스럽게 규칙 기반 의사결정 프로세스를 따르기 때문에 트리 모델이 좋은 선택입니다. 사용자의 의사결정 과정은 다음과 같습니다.

1. 이전에 이 플랫폼에서 긍정적인 쇼핑 경험을 한 적이 있나요? 그렇다면 계속하십시오.
2. 이 아이템이 지금 나에게 필요한가요? (예를 들어 겨울용 선글라스와 수영복을 사야 할까요?) 그렇다면 계속하세요.
3. 내 사용자 인구통계를 기준으로 볼 때 이 제품이 내가 구매하고 싶은 제품인가요? 그렇다면 계속하세요.
4. 이거 너무 비싼가요? 그렇지 않다면 계속하세요.
5. 다른 고객들이 이 제품을 내가 구매할 만큼 높게 평가했습니까? 그렇다면 계속하세요.

일반적으로 인간은 규칙 기반의 구조화된 의사 결정 프로세스를 따릅니다. 이러한 경우 확률적 모델링은 불필요합니다.

결론

• 트리 기반 방법을 신경망의 축소 버전으로 생각하면 기능 분류, 최적화, 정보 흐름 전송 등을 더 간단하게 수행할 수 있다고 생각하는 것이 가장 좋습니다.
• 트리 기반 방법과 신경망 방법의 주요 사용법 차이점은 결정론적(0/1) 데이터 구조와 확률론적 데이터 구조입니다. 결정적 모델을 사용하면 구조화된(표 형식) 데이터를 더 효과적으로 모델링할 수 있습니다.
• 트리 방식의 힘을 과소평가하지 마세요.

위 내용은 기계 학습: 트리 모델의 힘을 과소평가하지 마세요의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!