Bagaimana untuk Membaca Jadual MySQL sebagai Spark DataFrames?

Patricia Arquette
Lepaskan: 2024-11-01 02:08:02
asal
185 orang telah melayarinya

How to Read MySQL Tables as Spark DataFrames?

Mengintegrasikan Apache Spark dengan MySQL untuk Pembacaan Jadual Pangkalan Data

Untuk menyambungkan Apache Spark dengan MySQL dan memanfaatkan jadual pangkalan data sebagai kerangka data Spark, ikut langkah ini :

  1. Buat Sesi Spark:

    <code class="python">from pyspark.sql import SparkSession
    
    # Create a Spark session object
    spark = SparkSession.builder \
        .appName("Spark-MySQL-Integration") \
        .getOrCreate()</code>
    Salin selepas log masuk
  2. Semula Penyambung MySQL:

    <code class="python">from pyspark.sql import DataFrameReader
    
    # Create a DataFrameReader object for MySQL connection
    jdbc_df_reader = DataFrameReader(spark)</code>
    Salin selepas log masuk
  3. Konfigurasikan Parameter Sambungan MySQL:

    <code class="python"># Set MySQL connection parameters
    jdbc_params = {
        "url": "jdbc:mysql://localhost:3306/my_db",
        "driver": "com.mysql.jdbc.Driver",
        "dbtable": "my_table",
        "user": "root",
        "password": "password"
    }</code>
    Salin selepas log masuk
  4. Baca Jadual Pangkalan Data :

    <code class="python"># Read the MySQL table as a Spark dataframe
    dataframe_mysql = jdbc_df_reader.format("jdbc") \
        .options(**jdbc_params) \
        .load()
    
    # Print the dataframe schema
    dataframe_mysql.printSchema()</code>
    Salin selepas log masuk

Pendekatan ini menunjukkan cara menyepadukan Apache Spark dengan MySQL, membolehkan anda mengakses jadual pangkalan data sebagai kerangka data Spark.

Atas ialah kandungan terperinci Bagaimana untuk Membaca Jadual MySQL sebagai Spark DataFrames?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

sumber:php.cn
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Artikel terbaru oleh pengarang
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan