데이터베이스 테이블 읽기를 위해 Apache Spark와 MySQL 통합
Apache Spark를 MySQL과 연결하고 데이터베이스 테이블을 Spark 데이터 프레임으로 활용하려면 다음 단계를 따르세요. :
Spark 세션 생성:
<code class="python">from pyspark.sql import SparkSession # Create a Spark session object spark = SparkSession.builder \ .appName("Spark-MySQL-Integration") \ .getOrCreate()</code>
MySQL 커넥터 인스턴스화:
<code class="python">from pyspark.sql import DataFrameReader # Create a DataFrameReader object for MySQL connection jdbc_df_reader = DataFrameReader(spark)</code>
MySQL 연결 매개변수 구성:
<code class="python"># Set MySQL connection parameters jdbc_params = { "url": "jdbc:mysql://localhost:3306/my_db", "driver": "com.mysql.jdbc.Driver", "dbtable": "my_table", "user": "root", "password": "password" }</code>
데이터베이스 테이블 읽기 :
<code class="python"># Read the MySQL table as a Spark dataframe dataframe_mysql = jdbc_df_reader.format("jdbc") \ .options(**jdbc_params) \ .load() # Print the dataframe schema dataframe_mysql.printSchema()</code>
이 접근 방식은 Apache Spark를 MySQL과 통합하여 Spark 데이터 프레임으로 데이터베이스 테이블에 액세스하는 방법을 보여줍니다.
위 내용은 MySQL 테이블을 Spark DataFrame으로 읽는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!