Verarbeitung großer JSON-Dateien in Java

Effiziente JSON-Dateiverarbeitung ist in modernen Anwendungen wichtig. Wenn die JSON-Datei groß ist, müssen wir sie ordnungsgemäß verarbeiten, um einen Heap-Out-of-Memory-Fehler und einen hohen Ressourcenverbrauch zu vermeiden.

GSON ist eine der besten in Java verfügbaren Bibliotheken zur Verarbeitung von JSON-Dateien.

• Es bietet eine threadsichere Instanz zur Wiederverwendung desselben Objekts zur Verarbeitung mehrerer Anforderungen.

• Es wird nicht erwartet, dass Anmerkungen für die Serialisierung und Deserialisierung verfügbar sind, es sei denn, es liegt ein Sonderfall vor.

• Es stellt die Methoden toJson() und fromJson() für die Serialisierung und Deserialisierung bereit.

• Es bietet Unterstützung beim Lesen des Inhalts mit Stream-Readern.

Unten finden Sie den Codeausschnitt zum Lesen der Datei mit Java-Stream-Readern und zum Konvertieren in ein Java-Objekt. Ich wende meine Geschäftslogik für alle 100 Datensätze an.

Annahme Die JSON-Datei enthält eine Reihe von Daten wie unten.

[
{
"id": 1,
„Vorname“: „Emily“,
„Nachname“: „Johnson“
}
]

Java-Code

private Optional<Boolean> readFile(String path) {
    try (InputStream inputStream = Files.newInputStream(Path.of(path));
         JsonReader reader = new JsonReader(new InputStreamReader(inputStream))) {
        Instant start = Instant.now();
        reader.beginArray();
        List<User> users = new ArrayList<>();
        while (reader.hasNext()) {
            users.add(gson.fromJson(reader, User.class));
            if (users.size() >= 100) {
                //Initiate your records processing
                //You can consider processing it async way handling failure scenarios properly
                users.clear();
            }
        }
        reader.endArray();
        LOGGER.info("Total time taken to process file:{}, Duration:{} (millis)", path, Duration.between(start, Instant.now()).toMillis());
    } catch (Exception e) {
        LOGGER.error("", e);
        return Optional.of(false);
    }
    return Optional.of(true);
}

Das obige ist der detaillierte Inhalt vonVerarbeitung großer JSON-Dateien in Java. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!