Python에서 일반적으로 사용되는 기계 학습 라이브러리 분석-파이썬 튜토리얼-php.cn

Python은 컴퓨터 비전, 인공지능, 수학, 천문학 등 과학 컴퓨팅에 널리 사용됩니다. 이것이 머신러닝에도 적용된다는 것은 놀라운 일이 아닙니다.

이 문서에서는 Python에서 가장 유용한 기계 학습 도구와 라이브러리를 나열하고 설명합니다. 이 목록에서는 Python인터페이스가 있는 한 이러한 라이브러리를 Python으로 작성할 필요가 없습니다.

우리의 의도는 Python의 모든 기계 학습 라이브러리를 나열하는 것이 아닙니다("machine learning" Python 패키지 index(PyPI) 139개의 결과를 반환함) 대신 우리가 알고 있는 유용하고 잘 유지관리되는 항목을 나열하세요.

또한 일부 모듈은 다양한 기계 학습 작업에 사용될 수 있지만 기계 학습에 중점을 둔 라이브러리만 나열합니다. 예를 들어 Scipy1에는 일부 클러스터링 알고리즘이 포함되어 있지만 주요 초점은 기계 학습이 아니라 포괄적인 과학 컴퓨팅 도구 세트입니다. 그러므로 우리는 Scipy를 제외합니다(우리도 Scipy를 사용하지만!).

또 언급할 점은 기계 학습(지도 또는 비지도)도 데이터 처리 시스템의 일부이기 때문에 다른 과학 컴퓨팅 라이브러리와의 통합을 기반으로 이러한 라이브러리를 평가할 것이라는 점입니다. 사용하는 라이브러리가 나머지 데이터 처리 시스템과 일치하지 않으면 서로 다른 라이브러리 사이에 중간 레이어를 만드는 데 많은 시간을 소비하게 됩니다. 도구 세트에 훌륭한 라이브러리를 갖는 것이 중요하지만 라이브러리가 다른 라이브러리와 잘 통합되는 것도 마찬가지로 중요합니다.

다른 언어에 능숙하지만 Python 패키지도 사용하고 싶다면 이 기사에 나열된 라이브러리를 사용하기 위해 Python과 통합하는 방법도 간략하게 설명합니다.

Scikit-Learn

Scikit Learn7은 CB Insights에서 사용하는 머신러닝 도구입니다. 분류, 특징 선택, 특징 추출 및 집계에 이를 사용합니다.

우리가 가장 좋아하는 점은 일관되고 사용하기 쉬운 API가 있고 즉시 사용할 수 있는 **많은** 평가, 진단 및 교차 검증 방법을 제공한다는 것입니다. (익숙하지 않나요? Python은 "배터리 준비" 방법도 제공합니다). 금상첨화는 Scipy 데이터 구조를 내부적으로 사용한다는 점입니다. 이는 과학 컴퓨팅을 위해 Scipy, Numpy, Pandas 및 Matplotlib를 사용하는 Python의 나머지 부분과 잘 맞습니다.

따라서 분류기의 성능을 시각화하려는 경우(예: 정밀 재현율 플롯 또는 ROC(수신기 작동 특성) 곡선 사용) Matplotlib를 사용하면 빠른 시각화를 수행할 수 있습니다.

데이터를 정리하고 구조화하는 데 소요되는 시간을 고려할 때 이 라이브러리를 사용하면 다른 과학 컴퓨팅 패키지와 긴밀하게 통합될 수 있으므로 매우 편리할 수 있습니다.

이외에도 제한된 자연어 처리 특징 추출 기능과 Bag of Words, tfidf(Term Frequency Inverse Document 빈도 알고리즘), 전처리(disabled Words/stop- 단어, 사용자 정의 전처리, 파서).

또한 소규모 데이터 세트(장난감 데이터 세트)에 대해 다양한 벤치마크를 빠르게 수행하려는 경우 자체 데이터 세트 모듈이 일반적이고 유용한 데이터 세트를 제공합니다. 또한 이러한 데이터 세트를 기반으로 자신만의 작은 데이터 세트를 생성하여 모델을 실제 세계에 적용하기 전에 모델이 자신의 목적에 맞는 기대치를 충족하는지 테스트할 수 있습니다. 매개변수 최적화 및 매개변수 조정을 위해 그리드 검색 및 무작위 검색도 제공합니다.

이러한 기능은 강력한 커뮤니티 지원이 없거나 제대로 유지 관리되지 않으면 불가능합니다. 우리는 첫 번째 안정적인 릴리스를 기대하고 있습니다.

Statsmodels

Statsmodels는 주로 예측 및 탐색 분석에 사용되는 통계 모델에 중점을 둔 또 다른 강력한 라이브러리입니다. 선형 모델을 피팅하고, 통계 분석 또는 예측 모델링을 수행하려는 경우 Statsmodels가 매우 적합합니다. 제공되는 통계 테스트는 매우 포괄적이며 대부분의 검증 작업을 다룹니다.

R 또는 S 사용자인 경우 특정 통계 모델에 대한 R 구문도 제공합니다. 이 모델은 또한 Numpy배열 및 Pandas 데이터 프레임을 수용하여 중간 데이터 구조를 과거의 일로 만듭니다!

PyMC

PyMC는 **베이즈 곡선**을 수행하기 위한 것입니다. 도구. 여기에는 베이지안 모델, 통계 분포, 모델 수렴 및 일부 계층적 모델을 위한 진단 도구가 포함되어 있습니다. 베이지안 분석을 하고 싶다면 꼭 확인해 보세요.

Shogun

Shogun1은 C++로 작성된 SVM(Support Vector Machine)에 중점을 둔 기계 학습 도구 상자입니다. 활발히 개발 및 유지 관리되고 있으며 Python 인터페이스를 제공하며 가장 잘 문서화된 인터페이스이기도 합니다. 그러나 Scikit-learn에 비해 API를 사용하기가 더 어렵다는 것을 알았습니다. 게다가 기본적으로 사용할 수 있는 진단 및 평가 알고리즘도 많지 않습니다. 하지만 속도는 큰 장점이다.

젠심

젠심은 "인간을 위한토픽 모델링)"으로 정의됩니다. 홈 페이지에 설명된 대로 LDA(Latent Dirichlet Allocation)와 그 변형에 중점을 두고 있습니다. 다른 패키지와 달리 자연어 처리를 지원하며 NLP와 기타 기계 학습 알고리즘을 보다 쉽게 결합할 수 있습니다.

귀하의 분야가 NLP이고 집계 및 기본 분류를 수행하고 싶다면 살펴볼 수 있습니다. 현재

RecursiveNeural Network(Recurrent Neural Network) 기반으로 Google의 텍스트 표현 word2vec을 소개하고 있습니다. 이 라이브러리는 Python으로만 작성되었습니다.

range

Orange는 이 기사에 나열된 모든 라이브러리 중에서 그래픽 사용자 인터페이스(GUI)를 갖춘 유일한 라이브러리입니다. 분류, 집계, 기능 선택 방법은 물론 일부 교차 검증 방법에 대해서도 매우 포괄적입니다. 일부 측면(분류 방법, 일부 전처리 기능)에서는 Scikit-learn보다 우수하지만 다른 과학 컴퓨팅 시스템(Numpy, Scipy, Matplotlib, Pandas)에 대한 적응성은 Scikit-learn만큼 좋지 않습니다.

그러나 GUI를 포함한다는 것은 매우 중요한 장점입니다. 교차 검증, 모델 및 기능 선택 방법의 결과를 시각화할 수 있습니다(일부 기능은 Graphviz 설치가 필요함). 대부분의 알고리즘의 경우 Orange에는 자체 데이터 구조가 있으므로 데이터를 Orange 호환 데이터 구조로 래핑해야 하므로 학습 곡선이 더욱 가파르게 됩니다.

PyMVPA

PyMVPA는 또 다른 통계 학습 라이브러리이며 API는 Scikit-learn과 매우 유사합니다. 교차 검증 및 진단 도구가 포함되어 있지만 Scikit-learn만큼 포괄적이지는 않습니다.

딥러닝

딥러닝은 머신러닝의 한 하위 영역이지만, 여기에 별도의 섹션을 만든 이유는 최근 구글과 인재 확보 부서에서 많은 관심을 받고 있기 때문입니다. 페이스북.

Theano

Theano는 가장 성숙한 딥러닝 라이브러리입니다. 이는 신경망의 레이어를 표현하기 위한 좋은 데이터 구조(텐서, 텐서)를 제공하고 선형 대수학에 매우 효율적이며 Numpy 배열과 유사합니다. API가 매우 직관적이지 않을 수 있으며 사용자의 학습 곡선이 높을 것이라는 점에 유의해야 합니다. Theano를 기반으로 데이터 구조를 활용하는 라이브러리가 많이 있습니다. 또한 즉시 사용 가능한 GPU 프로그래밍도 지원합니다.

PyLearn

Theano에

모듈화 및 구성 가능성을 도입하는 또 다른 Theano 기반 라이브러리인 PyLearn2가 있습니다. 다양한 매개변수를 더 쉽게 시도할 수 있는 신경망을 만듭니다. 신경망의 매개변수와 속성을 구성 파일로 분리하면 모듈성이 더욱 강력해진다고 할 수 있습니다. DecafDecaf는 UC Berkeley에서 최근 출시한 딥러닝 라이브러리로 Imagenet 분류 챌린지에서 테스트한 결과 신경망 구현이 매우 발전된 것으로 나타났습니다.

Nolearn

딥 러닝에서 뛰어난 Scikit-learn 라이브러리 API를 사용하고 싶다면 Decaf를 캡슐화한 Nolearn을 사용하면 더 쉽게 사용할 수 있습니다. 이는 Scikit-learn과 (주로) 호환되는 Decaf에 대한 래퍼로, Decaf를 더욱 놀랍게 만듭니다.

OverFeat

OverFeat는 최근 Cats vs. Dogs(kaggle Challenge) 4에서 우승했습니다. C++로 작성되었으며 Python 래퍼(Matlab 및 Lua와 함께)도 포함되어 있습니다. Torch 라이브러리를 통해 GPU를 사용하므로 속도가 빠릅니다. ImageNet 분류 감지 및 위치 파악 대회에서도 우승했습니다. 귀하의 분야가 컴퓨터 비전이라면 한 번 살펴보는 것이 좋습니다.

Hebel

Hebel은 GPU를 즉시 지원하는 또 다른 신경망 라이브러리입니다. YAML 파일(Pylearn2와 유사)을 통해 신경망의 속성을 확인할 수 있어 신성한 네트워크와 코드를 분리하는 친숙한 방법을 제공하고 모델을 빠르게 실행할 수 있습니다. 짧은 기간 동안만 개발되었기 때문에 문서의 깊이와 폭이 부족합니다. 신경망 모델의 경우에도 하나의 신경망 모델(피드포워드)만 지원하기 때문에 제한적입니다.

하지만 순수 Python으로 작성되었으며, 다른 라이브러리에는 없는 스케줄러, 모니터 등 실용적인

함수

가 많이 포함되어 있어 매우 친숙한 라이브러리가 될 것입니다. .

NeurolabNeuroLab은 또 다른 API 친화적인(Matlabapi와 유사한) 신경망 라이브러리입니다. 다른 라이브러리와 달리 RNN(Recurrent Neural Network) 구현의 다양한 변형이 포함되어 있습니다. RNN을 사용하려는 경우 이 라이브러리는 유사한 API 중에서 가장 좋은 선택 중 하나입니다.

다른 언어와의 통합

Python을 모르지만 다른 언어를 아주 잘하신다고요? 절망하지 마세요! Python의 장점 중 하나는 완벽하다는 것입니다! 글루 언어의 경우 일반적인 프로그래밍 언어를 사용하고 Python을 통해 이러한 라이브러리에 액세스할 수 있습니다. 다양한 프로그래밍 언어에 대한 다음 패키지를 사용하여 다른 언어를 Python과 결합할 수 있습니다:

R -> RPython

Matlab -> - > Jython

Lua -> Lunatic Python

Julia -> PyCall.jl

이 라이브러리는 다음에서 사용할 수 없습니다. 1년 이상 릴리스된 모든 업데이트는 사용자에게 유용할 수 있으므로 나열하지만 이러한 라이브러리는 버그 수정, 특히 향후 개선 사항을 받을 가능성이 낮습니다.