PySpark 로컬 Python Windows 노트북 실행

PySpark 시작 가이드: 로컬 환경에서 쉽게 구성하고 사용할 수 있습니다

PySpark는 빠르고 확장 가능한 데이터 처리를 가능하게 하는 오픈 소스 분산 컴퓨팅 시스템인 Apache Spark의 Python API입니다. PySpark를 사용하면 Python 개발자는 Java 또는 Scala의 복잡성을 탐구할 필요 없이 Spark의 강력한 기능을 활용하여 빅 데이터 분석, 기계 학습 및 데이터 엔지니어링 작업을 수행할 수 있습니다.

PySpark를 사용하면 사용자는 대규모 데이터 세트를 처리하고, 분산 데이터 변환을 수행하고, 클러스터에서 기계 학습 알고리즘을 실행할 수 있습니다. Hadoop과 같은 널리 사용되는 데이터 처리 프레임워크와 원활하게 통합되고 다양한 데이터 형식을 지원하므로 데이터 과학 및 분석 분야의 다목적 도구가 됩니다.

이 가이드에서는 로컬 컴퓨터 환경에서 PySpark를 쉽게 설정하고 사용할 수 있도록 PySpark 구성에 대한 개요를 제공합니다.

설치

1. Python 설치: https://www.php.cn/link/70fa3e3aed5e5da45f0114c00fadfb41
2. Java 설치: 먼저 최신 버전의 Java를 다운로드하세요. https://www.php.cn/link/8513351ff7f10b0f156c9d1f669e1210 (이 글에서는 Java 23을 사용합니다.)
3. PySpark 설치:

먼저 다음에서 Apache Spark를 다운로드해야 합니다.

이 문서에서는 https://www.php.cn/link/8f7b2d9100577f77aa8fbb4f51c0366e를 튜토리얼 예시로 사용합니다.

파이썬 구성

1. Java 구성:

import os
os.environ["JAVA_HOME"] = fr"D:\Soft\JAVA\jdk-23.0.1"
os.environ["PATH"] = os.environ["JAVA_HOME"] + "/bin;" + os.environ["PATH"]

2. PySpark 구성:

import os
os.environ["SPARK_HOME"] = fr"D:\Soft\pyspark\spark-3.5.4-bin-hadoop3"
os.environ["PATH"] = os.environ["SPARK_HOME"] + "/bin;" + os.environ["PATH"]

구성이 완료되면 명령줄에서 PySpark를 확인해 볼 수 있습니다.

PySpark 노트북 예시

import numpy as np
import pandas as pd
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("调试示例") \
    .master("local[*]") \
    .config("spark.eventLog.enabled", "true") \
    .config("spark.sql.shuffle.partitions", "1") \
    .getOrCreate()

spark.sparkContext.setLogLevel("DEBUG")
# 启用基于Arrow的列式数据传输
spark.conf.set("spark.sql.execution.arrow.enabled", "true")

# 生成pandas DataFrame
pdf = pd.DataFrame(np.random.rand(100, 3))

# 使用Arrow从pandas DataFrame创建Spark DataFrame
df = spark.createDataFrame(pdf)
# 重命名列
df = df.toDF("a", "b", "c")
df.show(5) # 使用df.show(5)查看PySpark测试输出

머신러닝 데이터 예시:

import requests
from pyspark.sql import SparkSession

# 数据集URL
url = "https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data"

# 下载数据集并保存到本地
response = requests.get(url)
with open("iris.data", "wb") as file:
    file.write(response.content)

# 创建SparkSession
spark = SparkSession.builder \
    .appName("鸢尾花数据分析") \
    .master("local[*]") \
    .getOrCreate()

# 本地下载的鸢尾花数据集路径
iris_data_path = "iris.data"

# 定义数据的模式
columns = ["sepal_length", "sepal_width", "petal_length", "petal_width", "species"]

# 将数据加载到DataFrame中
df = spark.read.csv(iris_data_path, header=False, inferSchema=True)

# 设置列名
df = df.toDF(*columns)

# 显示DataFrame的前几行
df.show()

# 完成后停止SparkSession
spark.stop()

성공적으로 실행하세요!

참고자료

• https://www.php.cn/link/06c765902df5e6af92864147e1995fa3
• https://www.php.cn/link/70fa3e3aed5e5da45f0114c00fadfb41
• https://www.php.cn/link/6dc4a31db60d3da6b1d477315619952e
• https://www.php.cn/link/8513351ff7f10b0f156c9d1f669e1210
• https://www.php.cn/link/73eb26ad4e0c9d3f4a7bdede7856b79a

위 내용은 PySpark 로컬 Python Windows 노트북 실행의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!