


Comment récupérer des résultats de requête spécifiques à partir de bases de données externes dans Apache Spark 2.0.0 ?
Dec 02, 2024 am 02:46 AMRécupération des résultats de requête à partir de bases de données externes dans Apache Spark 2.0.0
Dans Apache Spark, la récupération de données à partir de bases de données externes se fait souvent en chargeant une table entière à l'aide de DataFrameReader . Cependant, il peut parfois être souhaitable de récupérer uniquement les résultats d'une requête spécifique.
Utilisation d'une sous-requête
Dans Apache Spark 2.0.0, il est possible de spécifier une sous-requête comme argument dbtable lors de la lecture à partir d'une source JDBC. Cela vous permet de récupérer les résultats d'une requête spécifique plutôt que la table entière.
Considérez l'extrait de code suivant écrit dans Pyspark :
from pyspark.sql import SparkSession spark = SparkSession\ .builder\ .appName("spark play")\ .getOrCreate() df = spark.read\ .format("jdbc")\ .option("url", "jdbc:mysql://localhost:port")\ .option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp")\ .option("user", "username")\ .option("password", "password")\ .load()
Dans cet exemple, au lieu de récupérer l'intégralité table schema.tablename, le code exécute la sous-requête (SELECT foo, bar FROM schema.tablename) AS tmp et stocke les résultats dans la table temporaire tmp. Le DataFrameReader charge ensuite les données de la table temporaire tmp dans le DataFrame df.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Article chaud

Outils chauds Tags

Article chaud

Tags d'article chaud

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds

Réduisez l'utilisation de la mémoire MySQL dans Docker

Comment modifier une table dans MySQL en utilisant l'instruction ALTER TABLE?

Comment résoudre le problème de MySQL ne peut pas ouvrir la bibliothèque partagée

Exécutez MySQL dans Linux (avec / sans conteneur Podman avec phpmyadmin)

Exécuter plusieurs versions MySQL sur macOS: un guide étape par étape

Comment sécuriser MySQL contre les vulnérabilités communes (injection SQL, attaques par force brute)?

Comment configurer le cryptage SSL / TLS pour les connexions MySQL?
