Anpassen von Wiederholungsprädikaten in Google Cloud Python-Bibliotheken

Die Python-Bibliotheken von Google Cloud sind auf Ausfallsicherheit ausgelegt. Sie fügen starke Wiederholungsmechanismen hinzu, um vorübergehende Fehler effektiv zu behandeln. Es kann jedoch Situationen geben, in denen das Standardwiederholungsverhalten nicht geeignet ist. Beispielsweise könnten bestimmte Fehler auftreten, die keinen Wiederholungsversuch auslösen sollten, oder Sie benötigen möglicherweise mehr Kontrolle über die Wiederholungslogik.

In diesem Blogbeitrag wird untersucht, wie die Python-Bibliotheken von Google Cloud mit benutzerdefinierten Wiederholungsprädikaten interagieren, sodass Sie das Wiederholungsverhalten anpassen können, um Ihren spezifischen Anforderungen besser gerecht zu werden.

In diesem Blogbeitrag möchte ich ein konkretes Beispiel im Zusammenhang mit der Verwendung des Dienstkontoidentitätswechsels in Google Cloud-Bibliotheken hervorheben. In einer Architektur, die ich entworfen habe und an der ich derzeit arbeite, isolieren wir Benutzerumgebungen in separate Google Cloud-Projekte. Wir haben festgestellt, dass einige unserer Dienste bei bestimmten Benutzerströmen eine Leistungseinbuße aufwiesen. Nach der Untersuchung haben wir das Problem auf das standardmäßige Wiederholungsverhalten der zuvor erwähnten Bibliotheken zurückgeführt.

Der Standard-Wiederholungsmechanismus

Bevor wir mit der Anpassung beginnen, ist es wichtig, das Standardwiederholungsverhalten von Google Cloud Python-Bibliotheken zu verstehen. Diese Bibliotheken verfügen normalerweise über eine exponentielle Backoff-Strategie mit zusätzlichem Jitter für Wiederholungsversuche. Dies bedeutet, dass die Bibliothek beim Auftreten eines vorübergehenden Fehlers den Vorgang nach einer kurzen Verzögerung erneut versucht, wobei die Verzögerung nach jedem weiteren Versuch exponentiell zunimmt. Durch die Einbeziehung von Jitter wird die Verzögerung zufällig, was dazu beiträgt, die Synchronisierung von Wiederholungsversuchen über mehrere Clients hinweg zu verhindern.

Obwohl diese Strategie in vielen Situationen effektiv ist, ist sie möglicherweise nicht für jedes Szenario ideal. Wenn Sie beispielsweise den Identitätswechsel eines Dienstkontos verwenden und auf einen Authentifizierungsfehler stoßen, ist der Versuch, den Vorgang zu wiederholen, möglicherweise nicht hilfreich. In solchen Fällen muss wahrscheinlich das zugrunde liegende Authentifizierungsproblem gelöst werden, bevor ein erneuter Versuch erfolgreich sein kann.

Geben Sie benutzerdefinierte Wiederholungsprädikate ein

In Google Cloud-Bibliotheken können Sie mit benutzerdefinierten Wiederholungsprädikaten die genauen Bedingungen angeben, unter denen ein Wiederholungsversuch durchgeführt werden soll. Sie können eine Funktion erstellen, die eine Ausnahme als Eingabe akzeptiert und True zurückgibt, wenn der Vorgang wiederholt werden soll, und False, wenn dies nicht der Fall sein sollte.

Hier ist beispielsweise ein benutzerdefiniertes Wiederholungsprädikat, das Wiederholungsversuche für bestimmte Authentifizierungsfehler verhindert, die beim Identitätswechsel eines Dienstkontos auftreten:

from google.api_core.exceptions import GoogleAPICallError
from google.api_core.retry import Retry, if_transient_error

def custom_retry_predicate(exception: Exception) -> bool:
    if if_transient_error(exception): # exceptions which should be retried
        if isinstance(exception, GoogleAPICallError):
            if "Unable to acquire impersonated credentials" in exception.message: # look for specific impersonation error
                return False
        return True
    return False

Dieses Prädikat prüft, ob es sich bei der Ausnahme um einen GoogleAPICallError handelt, und sucht insbesondere nach der Meldung „Imitierte Anmeldeinformationen konnten nicht erworben werden“. Wenn diese Bedingung erfüllt ist, wird False zurückgegeben, wodurch ein erneuter Versuch verhindert wird.

Benutzerdefinierte Prädikate mit Google Cloud-Bibliotheken verwenden

Firestore:

from google.api_core.exceptions import GoogleAPICallError
from google.api_core.retry import Retry, if_transient_error

def custom_retry_predicate(exception: Exception) -> bool:
    if if_transient_error(exception): # exceptions which should be retried
        if isinstance(exception, GoogleAPICallError):
            if "Unable to acquire impersonated credentials" in exception.message: # look for specific impersonation error
                return False
        return True
    return False

BigQuery:

from google.cloud import firestore

# ... your Firestore setup ...

retry = Retry(predicate=custom_retry_predicate, timeout=10)

# example of an arbitrary firestore api call, works with all
stream = collection.stream(retry=retry)

In beiden Beispielen erstellen wir ein Retry-Objekt mit unserem benutzerdefinierten Prädikat und einem Timeout-Wert. Dieses Retry-Objekt wird dann als Argument an die jeweiligen API-Aufrufe übergeben.

Vorteile benutzerdefinierter Wiederholungsprädikate

• Feinkörnige Steuerung: Definieren Sie Wiederholungsbedingungen basierend auf bestimmten Ausnahmen oder Fehlermeldungen mit Präzision.
• Verbesserte Effizienz: Vermeiden Sie unnötige Wiederholungsversuche bei nicht vorübergehenden Fehlern und sparen Sie so Ressourcen und Zeit.
• Verbesserte Anwendungsstabilität: Behandeln Sie bestimmte Fehler ordnungsgemäß, um kaskadierende Fehler zu verhindern.

Abschluss

Benutzerdefinierte Wiederholungsprädikate bieten eine effektive Möglichkeit, die Ausfallsicherheit Ihrer Google Cloud-Anwendungen zu verbessern. Indem Sie das Wiederholungsverhalten an Ihre spezifischen Anforderungen anpassen, können Sie sicherstellen, dass Ihre Anwendungen robust, effizient und skalierbar sind. Übernehmen Sie die Verantwortung für Ihre Fehlerbehandlung und meistern Sie den Wiederholungsprozess!

Das obige ist der detaillierte Inhalt vonAnpassen von Wiederholungsprädikaten in Google Cloud Python-Bibliotheken. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!