Comment utiliser Java pour développer une application d'analyse et de requête en temps réel basée sur Apache Druid

Comment utiliser Java pour développer une application d'analyse et de requête en temps réel basée sur Apache Druid

Introduction :
Apache Druid est un moteur de traitement de données et de requête en temps réel open source, qui présente les caractéristiques de haute performance, évolutivité et fiabilité. Convient à la création d’applications d’analyse et de requête en temps réel. Cet article présentera comment utiliser le langage Java pour développer une application d'analyse et de requête en temps réel basée sur Apache Druid, et fournira des exemples de code spécifiques.

1. Configurer l'environnement Apache Druid
Tout d'abord, nous devons configurer l'environnement Apache Druid. Les étapes spécifiques sont les suivantes :

1. Téléchargez et décompressez le package d'installation d'Apache Druid.
2. Configurez les variables d'environnement de Druid, notamment JAVA_HOME et DRUID_HOME.
3. Démarrez le service Zookeeper.
4. Démarrez le service Druide, y compris les nœuds Broker, Coordinateur, Overlord et Historique.

2. Créer une source de données Druid
Ensuite, nous devons créer une source de données Druid et importer les données dans Druid. Les étapes spécifiques sont les suivantes :

1. Créez une source de données contenant les champs nécessaires, tels que les champs d'horodatage, de dimension et de mesure.
2. Utilisez le code Java pour vous connecter au nœud Coordinateur de Druid et créer une source de données.
3. Utilisez le code Java pour importer des données dans la source de données de Druid. Les exemples de code spécifiques sont les suivants :

DruidDataSource dataSource = new DruidDataSource();
dataSource.setUrl("jdbc:mysql://localhost:3306/mydb");
dataSource.setUsername("root");
dataSource.setPassword("password");

String jsonPath = "path/to/data.json";
String dataSourceName = "myDataSource";

File jsonFile = new File(jsonPath);
InputStream inputStream = new FileInputStream(jsonFile);
InputStreamReader reader = new InputStreamReader(inputStream);

String data = IOUtils.toString(reader);
String jsonPayload = String.format(data, dataSourceName);

HttpURLConnection connection = (HttpURLConnection) new URL("http://localhost:8081/druid/coordinator/v1/metadata/datasources").openConnection();
connection.setRequestMethod("POST");
connection.setDoOutput(true);

OutputStream outputStream = connection.getOutputStream();
outputStream.write(jsonPayload.getBytes());
outputStream.close();

int responseCode = connection.getResponseCode();
if (responseCode == 200) {
    System.out.println("Data source created successfully.");
}

3. Écrivez le code de requête Druid
Une fois la source de données créée avec succès et les données importées, nous pouvons écrire le code de requête Druid. Les étapes spécifiques sont les suivantes :

1. Utilisez le code Java pour vous connecter au nœud Druid's Broker.
2. Construisez une requête de requête Druid et envoyez-la au cluster Druid. Les exemples de code spécifiques sont les suivants :

DruidQueryRequest queryRequest = new DruidQueryRequest();
queryRequest.setDataSource("myDataSource");
queryRequest.setGranularity("hour");
queryRequest.setIntervals("2022-01-01T00:00:00Z/2022-01-02T00:00:00Z");

DruidAggregation aggregation = new DruidAggregation();
aggregation.setType("longSum");
aggregation.setName("totalClicks");
aggregation.setFieldName("clicks");

queryRequest.setAggregations(Collections.singletonList(aggregation));

URL url = new URL("http://localhost:8082/druid/v2");
HttpURLConnection connection = (HttpURLConnection) url.openConnection();
connection.setRequestMethod("POST");
connection.setDoOutput(true);

Gson gson = new Gson();
String jsonPayload = gson.toJson(queryRequest);

OutputStream outputStream = connection.getOutputStream();
outputStream.write(jsonPayload.getBytes());
outputStream.close();

int responseCode = connection.getResponseCode();
if (responseCode == 200) {
    InputStream inputStream = connection.getInputStream();
    InputStreamReader reader = new InputStreamReader(inputStream);
    String result = IOUtils.toString(reader);
    System.out.println(result);
}

4. Afficher les résultats de la requête
Enfin, nous devons afficher ou traiter les résultats de la requête. Des exemples de code spécifiques sont les suivants :

JsonParser parser = new JsonParser();
JsonObject jsonObject = parser.parse(result).getAsJsonObject();
JsonArray events = jsonObject.getAsJsonArray("events");

for (JsonElement event : events) {
    JsonObject eventObject = event.getAsJsonObject();
    String timestamp = eventObject.get("__time").getAsString();
    long clicks = eventObject.get("totalClicks").getAsLong();

    System.out.println("Timestamp: " + timestamp);
    System.out.println("Total Clicks: " + clicks);
}

Conclusion :
Cet article présente comment utiliser le langage Java pour développer une application d'analyse et de requête en temps réel basée sur Apache Druid, notamment la création d'un environnement Druid, la création d'une source de données Druid, l'écriture de Druid. code de requête et affichage des résultats de la requête. Grâce à ces étapes, nous pouvons facilement créer une puissante application d'analyse et de requête en temps réel pour nous aider à effectuer rapidement une analyse des données et une prise de décision.

Références :

1. Documentation officielle d'Apache Druid : https://druid.apache.org/
2. Exemple de code Druid sur GitHub : https://github.com/apache/druid/tree/master/examples/ quickstart

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!