Bagaimana untuk Membaca Jadual Pangkalan Data MySQL ke dalam Spark DataFrames menggunakan PySpark?

Sepadukan Apache Spark dengan MySQL: Baca Jadual Pangkalan Data ke dalam Spark DataFrames

Mengintegrasikan Spark dengan MySQL membolehkan anda mengakses jadual dan proses pangkalan data MySQL dengan lancar data mereka dalam aplikasi Spark anda. Begini cara anda boleh mencapai ini:

Daripada PySpark, anda boleh memanfaatkan coretan kod berikut:

<code class="python">dataframe_mysql = mySqlContext.read.format("jdbc").options(
    url="jdbc:mysql://localhost:3306/my_bd_name",
    driver="com.mysql.jdbc.Driver",
    dbtable="my_tablename",
    user="root",
    password="root").load()</code>

Kod ini mewujudkan sambungan JDBC ke pangkalan data MySQL anda dan memuatkan jadual pangkalan data yang ditentukan ke dalam Spark DataFrame bernama dataframe_mysql.

Anda kemudiannya boleh melakukan pelbagai transformasi dan operasi data pada DataFrame menggunakan API kaya Spark. Contohnya, anda boleh menapis, mengagregat dan menggabungkan data daripada jadual dengan sumber data lain.

Perhatikan bahawa anda mungkin perlu memastikan pemacu MySQL JDBC disertakan dalam laluan kelas aplikasi Spark anda untuk penyepaduan ini berfungsi .

Atas ialah kandungan terperinci Bagaimana untuk Membaca Jadual Pangkalan Data MySQL ke dalam Spark DataFrames menggunakan PySpark?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!