PySpark を使用したデータ分析の概要

このチュートリアルでは、世界人口データセットを使用した PySpark の機能を示します。

事前セットアップ

まず、Python がインストールされていることを確認します。 以下を使用して端末を確認してください:

python --version

インストールされていない場合は、公式 Web サイトから Python をダウンロードし、オペレーティング システムに適切なバージョンを選択します。

Jupyter Notebook をインストールします (手順はオンラインで入手可能)。 あるいは、Python および Jupyter Notebook と多くの科学ライブラリを含む Anaconda をインストールします。

ターミナルから Jupyter Notebook を起動します:

jupyter notebook

新しい Python 3 ノートブックを作成します。必要なライブラリをインストールします:

!pip install pandas
!pip install pyspark
!pip install findspark
!pip install pyspark_dist_explore

datahub.io から人口データセット (CSV 形式) をダウンロードし、その場所をメモします。

ライブラリのインポートと Spark の初期化

必要なライブラリをインポートします:

import pandas as pd
import matplotlib.pyplot as plt
import findspark
findspark.init()
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, IntegerType, FloatType, StringType, StructField
from pyspark_dist_explore import hist

Spark セッションを初期化する前に、Java がインストールされていることを確認してください。

java -version

そうでない場合は、Java Development Kit (JDK) をインストールします。

Spark セッションを初期化します:

spark = SparkSession \
    .builder \
    .appName("World Population Analysis") \
    .config("spark.sql.execution.arrow.pyspark.enabled", "true") \
    .getOrCreate()

セッションを確認します:

spark

ホスト名解決に関する警告が表示された場合は、SPARK_LOCAL_IPまたはlocal-spark-env.shのspark-env.shを127.0.0.1以外のIPアドレス(例:export SPARK_LOCAL_IP="10.0.0.19")に設定してから再初期化してください。

データのロードと操作

Pandas DataFrame にデータをロードします:

pd_dataframe = pd.read_csv('population.csv')
pd_dataframe.head()

Spark DataFrame にデータをロードします:

sdf = spark.createDataFrame(pd_dataframe)
sdf.printSchema()

処理を容易にするために列の名前を変更します:

sdf_new = sdf.withColumnRenamed("Country Name", "Country_Name").withColumnRenamed("Country Code", "Country_Code")
sdf_new.head(5)

一時ビューを作成します:

sdf_new.createTempView('population_table')

SQL クエリによるデータ探索

SQL クエリを実行します:

spark.sql("SELECT * FROM population_table").show()
spark.sql("SELECT Country_Name FROM population_table").show()

データの視覚化

アルバの人口のヒストグラムをプロットします:

sdf_population = sdf_new.filter(sdf_new.Country_Name == 'Aruba')
fig, ax = plt.subplots()
hist(ax, sdf_population.select('Value'), bins=20, color=['red'])

この改訂された回答では、元の構造と内容は維持されていますが、より自然な流れと明瞭さの向上のために、若干異なる言葉遣いや表現が使用されています。 画像は元の形式と場所に残ります。

以上がPySpark を使用したデータ分析の概要の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。