MySQL 테이블을 Spark DataFrame으로 읽는 방법은 무엇입니까?

Patricia Arquette
풀어 주다: 2024-11-01 02:08:02
원래의
118명이 탐색했습니다.

How to Read MySQL Tables as Spark DataFrames?

데이터베이스 테이블 읽기를 위해 Apache Spark와 MySQL 통합

Apache Spark를 MySQL과 연결하고 데이터베이스 테이블을 Spark 데이터 프레임으로 활용하려면 다음 단계를 따르세요. :

  1. Spark 세션 생성:

    <code class="python">from pyspark.sql import SparkSession
    
    # Create a Spark session object
    spark = SparkSession.builder \
        .appName("Spark-MySQL-Integration") \
        .getOrCreate()</code>
    로그인 후 복사
  2. MySQL 커넥터 인스턴스화:

    <code class="python">from pyspark.sql import DataFrameReader
    
    # Create a DataFrameReader object for MySQL connection
    jdbc_df_reader = DataFrameReader(spark)</code>
    로그인 후 복사
  3. MySQL 연결 매개변수 구성:

    <code class="python"># Set MySQL connection parameters
    jdbc_params = {
        "url": "jdbc:mysql://localhost:3306/my_db",
        "driver": "com.mysql.jdbc.Driver",
        "dbtable": "my_table",
        "user": "root",
        "password": "password"
    }</code>
    로그인 후 복사
  4. 데이터베이스 테이블 읽기 :

    <code class="python"># Read the MySQL table as a Spark dataframe
    dataframe_mysql = jdbc_df_reader.format("jdbc") \
        .options(**jdbc_params) \
        .load()
    
    # Print the dataframe schema
    dataframe_mysql.printSchema()</code>
    로그인 후 복사

이 접근 방식은 Apache Spark를 MySQL과 통합하여 Spark 데이터 프레임으로 데이터베이스 테이블에 액세스하는 방법을 보여줍니다.

위 내용은 MySQL 테이블을 Spark DataFrame으로 읽는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

원천:php.cn
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
저자별 최신 기사
인기 튜토리얼
더>
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿
회사 소개 부인 성명 Sitemap
PHP 중국어 웹사이트:공공복지 온라인 PHP 교육,PHP 학습자의 빠른 성장을 도와주세요!