Mengintegrasikan Apache Spark dengan MySQL untuk Pembacaan Jadual Pangkalan Data
Untuk menyambungkan Apache Spark dengan MySQL dan memanfaatkan jadual pangkalan data sebagai kerangka data Spark, ikut langkah ini :
Buat Sesi Spark:
<code class="python">from pyspark.sql import SparkSession # Create a Spark session object spark = SparkSession.builder \ .appName("Spark-MySQL-Integration") \ .getOrCreate()</code>
Semula Penyambung MySQL:
<code class="python">from pyspark.sql import DataFrameReader # Create a DataFrameReader object for MySQL connection jdbc_df_reader = DataFrameReader(spark)</code>
Konfigurasikan Parameter Sambungan MySQL:
<code class="python"># Set MySQL connection parameters jdbc_params = { "url": "jdbc:mysql://localhost:3306/my_db", "driver": "com.mysql.jdbc.Driver", "dbtable": "my_table", "user": "root", "password": "password" }</code>
Baca Jadual Pangkalan Data :
<code class="python"># Read the MySQL table as a Spark dataframe dataframe_mysql = jdbc_df_reader.format("jdbc") \ .options(**jdbc_params) \ .load() # Print the dataframe schema dataframe_mysql.printSchema()</code>
Pendekatan ini menunjukkan cara menyepadukan Apache Spark dengan MySQL, membolehkan anda mengakses jadual pangkalan data sebagai kerangka data Spark.
Atas ialah kandungan terperinci Bagaimana untuk Membaca Jadual MySQL sebagai Spark DataFrames?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!