ホームページ > データベース > mysql チュートリアル > MySQL テーブルを Spark DataFrame として読み取る方法は?

MySQL テーブルを Spark DataFrame として読み取る方法は?

Patricia Arquette
リリース: 2024-11-01 02:08:02
オリジナル
291 人が閲覧しました

How to Read MySQL Tables as Spark DataFrames?

データベース テーブルの読み取りのための Apache Spark と MySQL の統合

Apache Spark を MySQL に接続し、データベース テーブルを Spark データフレームとして利用するには、次の手順に従います。 :

  1. Spark セッションを作成します:

    1

    2

    3

    4

    5

    6

    <code class="python">from pyspark.sql import SparkSession

     

    # Create a Spark session object

    spark = SparkSession.builder \

        .appName("Spark-MySQL-Integration") \

        .getOrCreate()</code>

    ログイン後にコピー
  2. MySQL コネクタをインスタンス化します:

    1

    2

    3

    4

    <code class="python">from pyspark.sql import DataFrameReader

     

    # Create a DataFrameReader object for MySQL connection

    jdbc_df_reader = DataFrameReader(spark)</code>

    ログイン後にコピー
  3. MySQL 接続パラメータの構成:

    1

    2

    3

    4

    5

    6

    7

    8

    <code class="python"># Set MySQL connection parameters

    jdbc_params = {

        "url": "jdbc:mysql://localhost:3306/my_db",

        "driver": "com.mysql.jdbc.Driver",

        "dbtable": "my_table",

        "user": "root",

        "password": "password"

    }</code>

    ログイン後にコピー
  4. データベース テーブルの読み取り :

    1

    2

    3

    4

    5

    6

    7

    <code class="python"># Read the MySQL table as a Spark dataframe

    dataframe_mysql = jdbc_df_reader.format("jdbc") \

        .options(**jdbc_params) \

        .load()

     

    # Print the dataframe schema

    dataframe_mysql.printSchema()</code>

    ログイン後にコピー

このアプローチでは、Apache Spark を MySQL と統合し、Spark データフレームとしてデータベース テーブルにアクセスできるようにする方法を示します。

以上がMySQL テーブルを Spark DataFrame として読み取る方法は?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート