如何使用 PySpark 將 MySQL 資料庫表格讀入 Spark DataFrame？

將Apache Spark 與MySQL 整合：將資料庫表讀入Spark DataFrames

將Spark 與MyMy資料庫表格和進程您的Spark 應用程式中的資料。以下是實現此目的的方法：

從PySpark，您可以利用以下程式碼片段：

<code class="python">dataframe_mysql = mySqlContext.read.format("jdbc").options(
    url="jdbc:mysql://localhost:3306/my_bd_name",
    driver="com.mysql.jdbc.Driver",
    dbtable="my_tablename",
    user="root",
    password="root").load()</code>

此程式碼建立與MySQL 資料庫的JDBC 連接並將指定的資料庫表載入一個名為dataframe_mysql 的Spark DataFrame。

然後您可以使用 Spark 豐富的 API 在 DataFrame 上執行各種資料轉換和操作。例如，您可以篩選、聚合表中的資料以及將表中的資料與其他資料來源連接。

請注意，您可能需要確保 MySQL JDBC 驅動程式包含在 Spark 應用程式的類別路徑中才能使此整合正常運作.

以上是如何使用 PySpark 將 MySQL 資料庫表格讀入 Spark DataFrame？的詳細內容。更多資訊請關注PHP中文網其他相關文章！