MySQL テーブルを Spark DataFrame として読み取る方法は?

Patricia Arquette
リリース: 2024-11-01 02:08:02
オリジナル
184 人が閲覧しました

How to Read MySQL Tables as Spark DataFrames?

データベース テーブルの読み取りのための Apache Spark と MySQL の統合

Apache Spark を MySQL に接続し、データベース テーブルを Spark データフレームとして利用するには、次の手順に従います。 :

  1. Spark セッションを作成します:

    <code class="python">from pyspark.sql import SparkSession
    
    # Create a Spark session object
    spark = SparkSession.builder \
        .appName("Spark-MySQL-Integration") \
        .getOrCreate()</code>
    ログイン後にコピー
  2. MySQL コネクタをインスタンス化します:

    <code class="python">from pyspark.sql import DataFrameReader
    
    # Create a DataFrameReader object for MySQL connection
    jdbc_df_reader = DataFrameReader(spark)</code>
    ログイン後にコピー
  3. MySQL 接続パラメータの構成:

    <code class="python"># Set MySQL connection parameters
    jdbc_params = {
        "url": "jdbc:mysql://localhost:3306/my_db",
        "driver": "com.mysql.jdbc.Driver",
        "dbtable": "my_table",
        "user": "root",
        "password": "password"
    }</code>
    ログイン後にコピー
  4. データベース テーブルの読み取り :

    <code class="python"># Read the MySQL table as a Spark dataframe
    dataframe_mysql = jdbc_df_reader.format("jdbc") \
        .options(**jdbc_params) \
        .load()
    
    # Print the dataframe schema
    dataframe_mysql.printSchema()</code>
    ログイン後にコピー

このアプローチでは、Apache Spark を MySQL と統合し、Spark データフレームとしてデータベース テーブルにアクセスできるようにする方法を示します。

以上がMySQL テーブルを Spark DataFrame として読み取る方法は?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ソース:php.cn
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
著者別の最新記事
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート