​PySpark ML을 사용하여 기계 학습 모델 구축

​Spark는 대화형 쿼리, 머신러닝, 실시간 워크로드를 위해 설계된 오픈 소스 프레임워크이고, PySpark는 Spark를 사용하는 Python용 라이브러리입니다.

PySpark는 대규모 탐색적 데이터 분석을 수행하고, 기계 학습 파이프라인을 구축하고, 데이터 플랫폼용 ETL을 생성하는 데 탁월한 언어입니다. Python 및 Pandas와 같은 라이브러리에 이미 익숙하다면 PySpark는 보다 확장 가능한 분석 및 파이프라인을 배우고 생성할 수 있는 훌륭한 언어입니다.

이 기사의 목적은 PySpark를 사용하여 기계 학습 모델을 구축하는 방법을 보여주는 것입니다.

Conda는 Python 가상 환경을 만듭니다.

conda는 거의 모든 도구와 타사 패키지를 패키지로 관리하며 Python과 Conda 자체도 관리합니다. Anaconda는 conda, 특정 버전의 Python, 다양한 패키지 등이 사전 설치된 패키지 컬렉션입니다.

1. 아나콘다를 설치합니다.

명령줄을 열고 conda -V를 입력하여 설치 여부와 현재 conda 버전을 확인하세요.

Anaconda를 통해 Python의 기본 버전을 설치합니다. 3.6은 Anaconda3-5.2에 해당하고 Python 3.7은 5.3 이후에 설치됩니다.

(https://repo.anaconda.com/archive/)

2.conda에서 자주 사용하는 명령어

1) 어떤 패키지가 설치되어 있는지 확인

conda list

2) 현재 어떤 가상 환경이 존재하는지 확인

conda env list <br>conda info -e

3) 현재 conda 업데이트

conda update conda

3를 선택하세요. Python이 가상 환경을 생성합니다

conda create -n your_env_name python=x.x

anaconda 명령은 Python 버전 x.x와 이름으로 your_env_name을 사용하여 가상 환경을 생성합니다. Your_env_name 파일은 Anaconda 설치 디렉터리의 envs 파일에서 찾을 수 있습니다.

4. 가상 환경 활성화 또는 전환

명령줄을 열고 python --version을 입력하여 현재 Python 버전을 확인하세요.

Linux:source activate your_env_nam<br>Windows: activate your_env_name

5. 가상 환경에 추가 패키지 설치

conda install -n your_env_name [package]

6. 가상 환경을 닫습니다

(즉, 현재 환경을 종료하고 PATH 환경의 기본 Python 버전으로 돌아갑니다)

deactivate env_name<br># 或者`activate root`切回root环境<br>Linux下：source deactivate

7. Environment

conda remove -n your_env_name --all

8. 환경시계에서 특정 패키지 삭제

conda remove --name $your_env_name$package_name

9. 국내 미러 설정

http://Anaconda.org 서버가 해외에 있어서 여러 패키지를 설치하면 콘다 다운로드 속도가 느려지는 경우가 많습니다. 아주 느린. Tsinghua TUNA 미러 소스에는 Anaconda 창고의 미러가 있으므로 conda 구성에 추가하기만 하면 됩니다:

# 添加Anaconda的TUNA镜像<br>conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/<br><br># 设置搜索时显示通道地址<br>conda config --set show_channel_urls yes

10. 기본 미러 복원

conda config --remove-key channels

PySpark 설치

PySpark의 설치 프로세스는 다른 Python 패키지만큼 간단합니다. Pandas, Numpy, scikit-learn 등).

한 가지 중요한 점은 먼저 Java가 컴퓨터에 설치되어 있는지 확인하는 것입니다. 그런 다음 jupyter 노트북에서 PySpark를 실행할 수 있습니다.

데이터 탐색

우리는 국립 당뇨병 및 소화기 및 신장 질환 당뇨병 질병 연구소와 연결된 당뇨병 데이터 세트를 사용합니다. 분류 목표는 환자의 당뇨병 여부(예/아니요)를 예측하는 것입니다.

from pyspark.sql import SparkSession<br>spark = SparkSession.builder.appName('ml-diabetes').getOrCreate()<br>df = spark.read.csv('diabetes.csv', header = True, inferSchema = True)<br>df.printSchema()

데이터 세트는 여러 의학적 예측 변수와 목표 변수 결과로 구성됩니다. 예측 변수에는 환자의 임신 횟수, BMI, 인슐린 수치, 연령 등이 포함됩니다.

• 임신 횟수 : 임신 횟수
• 포도당 : 2시간 이내 경구당부하검사 혈당농도
• 혈압 : 이완기혈압(mmHg)
• 피부두께 : 삼두근 피부주름두께(mm)
• 인슐린 : 2 시간 혈청 인슐린(mu U/ml)
• BMI: 체질량 지수(체중 단위 kg/(신장 단위 m)²)
• diabespedigreefunction: 당뇨병 스펙트럼 기능
• 나이: 나이(세)
• 결과: 클래스 변수( 0 또는 1)
• 입력 변수: 혈당, 혈압, BMI, 연령, 임신, 인슐린, 피부 두께, 당뇨병 스펙트럼 기능.
• 출력 변수: 결과.

처음 5개의 관찰 내용을 살펴보세요. Pandas 데이터프레임은 Spark DataFrame.show()보다 더 아름답습니다.

import pandas as pd<br>pd.DataFrame(df.take(5), <br> columns=df.columns).transpose()

PySpark에서는 Pandas의 DataFrame toPandas()를 사용하여 데이터를 표시할 수 있습니다.

df.toPandas()

수업의 균형이 완벽하게 맞는지 확인하세요!

df.groupby('Outcome').count().toPandas()

기술통계

numeric_features = [t[0] for t in df.dtypes if t[1] == 'int']<br>df.select(numeric_features)<br>.describe()<br>.toPandas()<br>.transpose()

독립변수 간의 상관관계

from pandas.plotting import scatter_matrix<br>numeric_data = df.select(numeric_features).toPandas()<br><br>axs = scatter_matrix(numeric_data, figsize=(8, 8));<br><br># Rotate axis labels and remove axis ticks<br>n = len(numeric_data.columns)<br>for i in range(n):<br>v = axs[i, 0]<br>v.yaxis.label.set_rotation(0)<br>v.yaxis.label.set_ha('right')<br>v.set_yticks(())<br>h = axs[n-1, i]<br>h.xaxis.label.set_rotation(90)<br>h.set_xticks(())

데이터 준비 및 특성 공학

이 부분에서는 불필요한 열을 제거하고 누락된 값을 채우겠습니다. 마지막으로 기계 학습 모델에 대한 기능이 선택됩니다. 이러한 기능은 훈련과 테스트라는 두 부분으로 나뉩니다.

누락된 데이터 처리

from pyspark.sql.functions import isnull, when, count, col<br>df.select([count(when(isnull(c), c)).alias(c)<br> for c in df.columns]).show()

이 데이터세트는 누락된 값이 없이 훌륭합니다.

不必要的列丢弃

dataset = dataset.drop('SkinThickness')<br>dataset = dataset.drop('Insulin')<br>dataset = dataset.drop('DiabetesPedigreeFunction')<br>dataset = dataset.drop('Pregnancies')<br><br>dataset.show()

特征转换为向量

VectorAssembler —— 将多列合并为向量列的特征转换器。

# 用VectorAssembler合并所有特性<br>required_features = ['Glucose',<br>'BloodPressure',<br>'BMI',<br>'Age']<br><br>from pyspark.ml.feature import VectorAssembler<br><br>assembler = VectorAssembler(<br>inputCols=required_features, <br>outputCol='features')<br><br>transformed_data = assembler.transform(dataset)<br>transformed_data.show()

现在特征转换为向量已完成。

训练和测试拆分

将数据随机分成训练集和测试集，并设置可重复性的种子。

(training_data, test_data) = transformed_data.randomSplit([0.8,0.2], seed =2020)<br>print("训练数据集总数: " + str(training_data.count()))<br>print("测试数据集总数: " + str(test_data.count()))

训练数据集总数：620<br>测试数据集数量：148

机器学习模型构建

随机森林分类器

随机森林是一种监督学习算法，用于分类和回归。但是，它主要用于分类问题。众所周知，森林是由树木组成的，树木越多，森林越茂盛。类似地，随机森林算法在数据样本上创建决策树，然后从每个样本中获取预测，最后通过投票选择最佳解决方案。这是一种比单个决策树更好的集成方法，因为它通过对结果进行平均来减少过拟合。

from pyspark.ml.classification import RandomForestClassifier<br><br>rf = RandomForestClassifier(labelCol='Outcome', <br>featuresCol='features',<br>maxDepth=5)<br>model = rf.fit(training_data)<br>rf_predictions = model.transform(test_data)

评估随机森林分类器模型

from pyspark.ml.evaluation import MulticlassClassificationEvaluator<br><br>multi_evaluator = MulticlassClassificationEvaluator(<br>labelCol = 'Outcome', metricName = 'accuracy')<br>print('Random Forest classifier Accuracy:', multi_evaluator.evaluate(rf_predictions))

Random Forest classifier Accuracy：0.79452

决策树分类器

决策树被广泛使用，因为它们易于解释、处理分类特征、扩展到多类分类设置、不需要特征缩放，并且能够捕获非线性和特征交互。

from pyspark.ml.classification import DecisionTreeClassifier<br><br>dt = DecisionTreeClassifier(featuresCol = 'features',<br>labelCol = 'Outcome',<br>maxDepth = 3)<br>dtModel = dt.fit(training_data)<br>dt_predictions = dtModel.transform(test_data)<br>dt_predictions.select('Glucose', 'BloodPressure', <br>'BMI', 'Age', 'Outcome').show(10)

评估决策树模型

from pyspark.ml.evaluation import MulticlassClassificationEvaluator<br><br>multi_evaluator = MulticlassClassificationEvaluator(<br>labelCol = 'Outcome', <br>metricName = 'accuracy')<br>print('Decision Tree Accuracy:', <br>multi_evaluator.evaluate(dt_predictions))

Decision Tree Accuracy: 0.78767

逻辑回归模型

逻辑回归是在因变量是二分（二元）时进行的适当回归分析。与所有回归分析一样，逻辑回归是一种预测分析。逻辑回归用于描述数据并解释一个因二元变量与一个或多个名义、序数、区间或比率水平自变量之间的关系。当因变量（目标）是分类时，使用逻辑回归。

from pyspark.ml.classification import LogisticRegression<br><br>lr = LogisticRegression(featuresCol = 'features', <br>labelCol = 'Outcome', <br>maxIter=10)<br>lrModel = lr.fit(training_data)<br>lr_predictions = lrModel.transform(test_data)

评估我们的逻辑回归模型。

from pyspark.ml.evaluation import MulticlassClassificationEvaluator<br><br>multi_evaluator = MulticlassClassificationEvaluator(<br>labelCol = 'Outcome',<br>metricName = 'accuracy')<br>print('Logistic Regression Accuracy:', <br>multi_evaluator.evaluate(lr_predictions))

Logistic Regression Accuracy：0.78767

梯度提升树分类器模型

梯度提升是一种用于回归和分类问题的机器学习技术，它以弱预测模型（通常是决策树）的集合形式生成预测模型。

from pyspark.ml.classification import GBTClassifier<br>gb = GBTClassifier(<br>labelCol = 'Outcome', <br>featuresCol = 'features')<br>gbModel = gb.fit(training_data)<br>gb_predictions = gbModel.transform(test_data)

评估我们的梯度提升树分类器。

from pyspark.ml.evaluation import MulticlassClassificationEvaluator<br>multi_evaluator = MulticlassClassificationEvaluator(<br>labelCol = 'Outcome',<br>metricName = 'accuracy')<br>print('Gradient-boosted Trees Accuracy:',<br>multi_evaluator.evaluate(gb_predictions))

Gradient-boosted Trees Accuracy：0.80137

结论

PySpark 是一种非常适合数据科学家学习的语言，因为它支持可扩展的分析和 ML 管道。如果您已经熟悉 Python 和 Pandas，那么您的大部分知识都可以应用于 Spark。总而言之，我们已经学习了如何使用 PySpark 构建机器学习应用程序。我们尝试了三种算法，梯度提升在我们的数据集上表现最好。

위 내용은 ​PySpark ML을 사용하여 기계 학습 모델 구축의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!