Quelle est la meilleure façon d'utiliser les données de la base de données Databricks dans une application Java ?

L'éditeur php Yuzai vous propose des questions et réponses Java : quelle est la meilleure façon d'utiliser les données de la base de données Databricks dans les applications Java ? Dans le développement réel, il est courant que les applications Java exploitent efficacement les données de la base de données Databricks. Cet article présentera les meilleures pratiques et techniques pour aider les développeurs à mieux utiliser la base de données Databricks et à améliorer l'efficacité et les performances du traitement des données.

Contenu de la question

J'ai besoin de récupérer des données stockées dans la plateforme Databricks. Je peux voir que cela peut être réalisé en utilisant le Databricks-SDK ainsi que la route API Databricks, mais je ne vois nulle part le meilleur moyen d'obtenir les données.

Si vous pouvez trouver un autre meilleur moyen, faites-le-moi savoir.

Toute aide/conseil ici est grandement apprécié.

Solution de contournement

Pour le printemps, le moyen le plus simple est d'utiliser le Pilote JDBC Databricks, qui offre de très bonnes performances, en particulier lorsque vous avez besoin d'obtenir de gros morceaux de données. Le chauffeur est disponible sur Maven Central aux coordonnées suivantes :

<dependency>
    <groupId>com.databricks</groupId>
    <artifactId>databricks-jdbc</artifactId>
    <version>2.6.34</version>
    <scope>runtime</scope>
</dependency>

Après cela, vous pouvez l'utiliser comme autre source de données jdbc via l'url jdbc comme jdbc:databricks://... (la chaîne exacte dépend de la configuration). J'ai un petit exemple du printemps qui l'utilise (pas très idiomatique cependant).

Une alternative consiste à utiliser l'API REST d'exécution d'instructions SQL Databricks, mais cela nécessite généralement plus de travail pour s'authentifier, attendre les résultats, décoder les données, etc. Bien que Databricks Java SDK simplifie son utilisation afin que vous puissiez l'utiliser si vous ne souhaitez pas utiliser jdbc.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!