PySpark의 JDBC를 사용하여 외부 데이터베이스에서 특정 쿼리 결과를 어떻게 가져올 수 있습니까?

Apache Spark 2.0.0의 외부 데이터베이스에서 특정 쿼리 결과 가져오기

PySpark를 사용하여 Apache Spark 2.0.0에서 외부 데이터베이스로 작업하는 경우 , 사용자는 전체 테이블을 가져오는 대신 특정 쿼리에서 데이터를 가져오고 싶어할 수 있습니다. 이렇게 하면 성능이 향상되고 데이터 전송이 줄어들 수 있습니다.

질문:

다음 PySpark 코드에서 df DataFrame은 "schema.tablename"이라는 데이터베이스 테이블에서 로드됩니다. . 대신 사용자 정의 쿼리의 결과 세트에서 데이터를 가져오도록 코드를 수정하려면 어떻게 해야 합니까?

from pyspark.sql import SparkSession

spark = SparkSession\
    .builder\
    .appName("spark play")\
    .getOrCreate()    

df = spark.read\
    .format("jdbc")\
    .option("url", "jdbc:mysql://localhost:port")\
    .option("dbtable", "schema.tablename")\
    .option("user", "username")\
    .option("password", "password")\
    .load()

답변:

사용자 정의 쿼리의 결과 세트를 가져오려면 쿼리의 경우 Spark DataFrameReader의 옵션에서 "dbtable" 인수로 쿼리를 제공합니다. 쿼리는 괄호로 묶어야 하며 임시 테이블 이름에 대한 별칭을 지정해야 합니다.

...
.option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp")
...

하위 쿼리를 "dbtable" 인수로 전달하면 Spark는 쿼리를 실행하고 결과 데이터를 DataFrame에 로드합니다. 이를 통해 사용자는 전체 테이블을 가져오는 오버헤드 없이 외부 데이터베이스에서 특정 데이터를 검색할 수 있습니다.

위 내용은 PySpark의 JDBC를 사용하여 외부 데이터베이스에서 특정 쿼리 결과를 어떻게 가져올 수 있습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!