如何将 MySQL 数据库表读取为 Spark DataFrame？

将 Apache Spark 与 MySQL 集成，以 Spark DataFrame 形式读取数据库表

将 Apache Spark 与 MySQL 无缝连接，并从数据库表中检索数据Spark DataFrames，请按照以下步骤操作：

从 PySpark，使用 mySqlContext.read 函数建立连接：

<code class="python">dataframe_mysql = mySqlContext.read.format("jdbc")</code>

设置 MySQL 连接所需的配置参数：

1. url：指定 MySQL 数据库的 JDBC URL。
2. driver：定义 MySQL 的 JDBC 驱动程序（例如，“com.mysql.jdbc.Driver”）。
3. dbtable：表示要从中读取数据的 MySQL 表的名称。
4. user：提供访问 MySQL 数据库的用户名。
5. password：指定 MySQL 用户的密码。

使用 load 方法将表数据加载到 DataFrame 中：

<code class="python">dataframe_mysql = dataframe_mysql.options(
    url="jdbc:mysql://localhost:3306/my_bd_name",
    driver = "com.mysql.jdbc.Driver",
    dbtable = "my_tablename",
    user="root",
    password="root").load()</code>

将数据加载到 DataFrame 后，您可以对其执行各种操作，例如转换和聚合，使用 Spark 丰富的 API 集。

以上是如何将 MySQL 数据库表读取为 Spark DataFrame？的详细内容。更多信息请关注PHP中文网其他相关文章！