스파크가 왜 느린가요??-파이썬 튜토리얼-php.cn

스파크가 왜 느린가요??

Mary-Kate Olsen

풀어 주다： 2024-12-11 19:43:11

원래의

872명이 탐색했습니다.

스파크가 왜 느린가요??

'스파크는 왜 느린가요??'라는 눈길을 끄는 제목으로 시작하여, 스파크를 '느리다'라고 부르는 것은 다양한 의미를 가질 수 있다는 점에 유의하는 것이 중요합니다. 집계 속도가 느린가요? 데이터 로딩? 다양한 경우가 존재합니다. 또한 "Spark"는 광범위한 용어이며 성능은 프로그래밍 언어 및 사용 컨텍스트와 같은 요소에 따라 달라집니다. 그럼 본격적으로 시작하기 전에 제목을 좀 더 정확하게 다듬어 보겠습니다.

저는 Databricks에서 Python과 함께 Spark를 주로 사용하므로 범위를 더 좁혀보겠습니다.

세련된 제목은 다음과 같습니다.

"스파크의 첫인상: '빠르다고 들었는데 왜 느리게 느껴지는 걸까?' 초보자의 시선"

글쓰기 동기(캐주얼 생각)

Pandas, NumPy 및 기계 학습 라이브러리를 광범위하게 사용하는 사람으로서 저는 병렬 및 분산 처리를 통해 빅데이터를 처리하는 Spark의 능력에 감탄했습니다. 마침내 Spark를 업무에 사용하게 되었을 때, 그것이 Pandas보다 느려 보이는 시나리오에 당황했습니다. 무엇이 잘못되었는지 확신할 수 없었지만 몇 가지 통찰력을 발견하여 공유하고 싶습니다.

언제 스파크가 느려지나요?

본론으로 들어가기 전에

Spark의 기본 아키텍처를 간략하게 살펴보겠습니다.

Why Is Spark Slow??

(클러스터 모드 개요)

Spark 클러스터는 실제 처리를 수행하는 워커 노드와 실행을 조정하고 계획하는 드라이버 노드로 구성됩니다. 이 아키텍처는 아래에서 설명하는 모든 것에 영향을 미치므로 염두에 두십시오.

이제 주요 사항을 살펴보겠습니다.

1. 데이터 세트가 충분히 크지 않습니다.

Spark는 대규모 데이터 처리에 최적화되어 있지만 소규모 데이터세트도 처리할 수 있습니다. 하지만 이 벤치마크를 살펴보세요.

Why Is Spark Slow??

(단일 노드 시스템에서 Apache Spark 벤치마킹)

결과에 따르면 15GB 미만의 데이터 세트의 경우 Pandas가 집계 작업에서 Spark보다 성능이 뛰어난 것으로 나타났습니다. 왜? 간단히 말해서 Spark 최적화로 인한 오버헤드가 소규모 데이터세트의 이점보다 더 큽니다.

링크는 Spark가 느리지 않지만 로컬 클러스터 모드에 있는 경우를 보여줍니다. 독립 실행형 설정의 경우 노드 간 네트워크 통신 오버헤드로 인해 더 작은 데이터 세트가 단점이 될 수 있습니다.

pandas: 네트워크나 스토리지 I/O 없이 단일 시스템에서 메모리 내 모든 것을 처리합니다.
Spark: RDD(Resilient Distributed Datasets)를 사용하고 작업자 간 네트워크 통신(분산된 경우)을 포함하며 병렬 처리를 위해 데이터를 구성하는 데 오버헤드가 발생합니다.

2. 지연 평가 이해

Spark는 지연 평가를 사용합니다. 즉, 변환이 즉시 실행되지 않고 작업(예: 수집, 계산, 표시)이 계산을 트리거할 때까지 연기됩니다.

예(판다):

df = spark.read.table("tpch.lineitem").limit(1000).toPandas()
df["l_tax_percentage"] = df["l_tax"] * 100
for l_orderkey, group_df in df.groupby("l_orderkey"):
    print(l_orderkey, group_df["l_tax_percentage"].mean())

로그인 후 복사

실행 시간: 3.04초

Spark와 동일:

from pyspark.sql import functions as F
sdf = spark.read.table("tpch.lineitem").limit(1000)
sdf = sdf.withColumn("l_tax_percentage", F.col("l_tax") * 100)

for row in sdf.select("l_orderkey").distinct().collect():
    grouped_sdf = sdf.filter(F.col("l_orderkey") == row.l_orderkey).groupBy("l_orderkey").agg(
        F.mean("l_tax_percentage").alias("avg_l_tax_percentage")
    )
    print(grouped_sdf.show())

로그인 후 복사

실행 시간: 3분 후에도 계속 실행됩니다.

왜?

지연 평가: 모든 변환은 대기열에 추가되며 쇼와 같은 작업 중에만 실행됩니다.
운전자 간 통신: 수집 및 표시와 같은 작업에는 작업자에서 운전자로의 데이터 전송이 포함되어 지연이 발생합니다.

Spark 코드는 Pandas에서 이 작업을 효과적으로 수행합니다.

for l_orderkey, group_df in df.groupby("l_orderkey"):
    df["l_tax_percentage"] = df["l_tax"] * 100
    print(l_orderkey, group_df["l_tax_percentage"].mean())

로그인 후 복사

Spark의 캐시를 사용하거나 반복 계산을 최소화하도록 로직을 재구성하여 이러한 패턴을 피하세요.