Apache Spark 2.0.0의 외부 데이터베이스에서 특정 쿼리 결과를 가져오는 방법은 무엇입니까?

Apache Spark 2.0.0에서 외부 데이터베이스로부터 쿼리 결과 가져오기

Apache Spark 2.0.0에서는 결과를 가져오는 것이 가능합니다. 전체 테이블을 로드하는 대신 외부 데이터베이스의 쿼리 집합을 사용합니다.

제공된 PySpark 예에서 df DataFrame은 JDBC 커넥터를 사용하여 MySQL 테이블에서 데이터를 읽어 생성됩니다. 그러나 특정 쿼리의 결과만 가져오려면 read 메소드에서 dbtable 인수로 하위 쿼리를 지정하면 됩니다.

다음 코드는 SELECT foo, bar FROM 쿼리의 결과 세트를 가져오는 방법을 보여줍니다. schema.tablename:

from pyspark.sql import SparkSession

spark = SparkSession\
    .builder\
    .appName("spark play")\
    .getOrCreate()    

df = spark.read\
    .format("jdbc")\
    .option("url", "jdbc:mysql://localhost:port")\
    .option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp")\
    .option("user", "username")\
    .option("password", "password")\
    .load()

이 접근 방식을 사용하면 Spark는 외부 데이터베이스에서 하위 쿼리를 실행하고 결과 데이터만 DataFrame에 로드합니다. 이는 테이블에서 데이터의 하위 집합만 필요한 경우 성능을 최적화하고 데이터 전송을 줄이는 데 유용할 수 있습니다.

위 내용은 Apache Spark 2.0.0의 외부 데이터베이스에서 특정 쿼리 결과를 가져오는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!