首页 后端开发 Python教程 自定义 Google Cloud Python 库中的重试谓词

自定义 Google Cloud Python 库中的重试谓词

Nov 19, 2024 pm 06:11 PM

Customizing Retry Predicates in Google Cloud Python Libraries

Google Cloud 的 Python 库专为提高弹性而设计。它们添加了强大的重试机制来有效处理瞬态错误。但是,在某些情况下,默认重试行为可能不适合。例如,您可能会遇到某些不应触发重试的错误,或者您可能需要对重试逻辑进行更多控制。

这篇博文探讨了 Google Cloud 的 Python 库如何与自定义重试谓词交互,让您可以自定义重试行为以更好地满足您的特定要求。

在这篇博文中,我想重点介绍一个与在 Google Cloud 库中使用服务帐号模拟相关的具体示例。在我设计并目前正在研究的架构中,我们将用户环境隔离到单独的 Google Cloud 项目中。我们注意到,我们的一些服务在某些用户流中性能下降。经过调查,我们将问题追溯到前面提到的库的默认重试行为。

默认重试机制

在进行自定义之前,了解 Google Cloud Python 库的默认重试行为非常重要。这些库通常具有指数退避策略,并增加重试抖动。这意味着,当发生暂时性错误时,库将在短暂延迟后重试该操作,并且每次后续尝试后延迟都会呈指数增长。包含抖动会带来延迟的随机性,这有助于防止多个客户端之间的重试同步。

虽然此策略在许多情况下都很有效,但它可能并不适合所有情况。例如,如果您使用服务帐户模拟并遇到身份验证错误,则尝试重试该操作可能没有帮助。在这种情况下,可能需要先解决底层身份验证问题,然后才能重试成功。

输入自定义重试谓词

在 Google Cloud 库中,自定义重试谓词使您能够指定应进行重试尝试的精确条件。您可以创建一个接受异常作为输入的函数,如果应该重试操作则返回 True,如果不应该重试则返回 False。

例如,下面是一个自定义重试谓词,可防止重试服务帐户模拟期间发生的某些身份验证错误:

from google.api_core.exceptions import GoogleAPICallError
from google.api_core.retry import Retry, if_transient_error

def custom_retry_predicate(exception: Exception) -> bool:
    if if_transient_error(exception): # exceptions which should be retried
        if isinstance(exception, GoogleAPICallError):
            if "Unable to acquire impersonated credentials" in exception.message: # look for specific impersonation error
                return False
        return True
    return False
登录后复制
登录后复制

此谓词检查异常是否为 GoogleAPICallError,并专门查找消息“无法获取模拟凭据”。如果满足此条件,则返回 False,防止重试。

将自定义谓词与 Google Cloud 库结合使用

Firestore:

from google.api_core.exceptions import GoogleAPICallError
from google.api_core.retry import Retry, if_transient_error

def custom_retry_predicate(exception: Exception) -> bool:
    if if_transient_error(exception): # exceptions which should be retried
        if isinstance(exception, GoogleAPICallError):
            if "Unable to acquire impersonated credentials" in exception.message: # look for specific impersonation error
                return False
        return True
    return False
登录后复制
登录后复制

BigQuery

from google.cloud import firestore

# ... your Firestore setup ...

retry = Retry(predicate=custom_retry_predicate, timeout=10)

# example of an arbitrary firestore api call, works with all
stream = collection.stream(retry=retry)
登录后复制

在这两个示例中,我们使用自定义谓词和超时值创建一个 Retry 对象。然后,此 Retry 对象作为参数传递给相应的 API 调用。

自定义重试谓词的好处

  • 细粒度控制:根据特定异常或错误消息精确定义重试条件。
  • 提高效率:避免对非暂时性错误进行不必要的重试,从而节省资源和时间。
  • 增强应用程序稳定性:妥善处理特定错误以防止级联故障。

结论

自定义重试谓词提供了一种增强 Google Cloud 应用程序弹性的有效方法。通过自定义重试行为以满足您的特定要求,您可以确保您的应用程序稳健、高效且可扩展。负责您的错误处理并掌握重试过程!

以上是自定义 Google Cloud Python 库中的重试谓词的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

如何在使用 Fiddler Everywhere 进行中间人读取时避免被浏览器检测到? 如何在使用 Fiddler Everywhere 进行中间人读取时避免被浏览器检测到? Apr 02, 2025 am 07:15 AM

使用FiddlerEverywhere进行中间人读取时如何避免被检测到当你使用FiddlerEverywhere...

在Linux终端中使用python --version命令时如何解决权限问题? 在Linux终端中使用python --version命令时如何解决权限问题? Apr 02, 2025 am 06:36 AM

Linux终端中使用python...

如何在10小时内通过项目和问题驱动的方式教计算机小白编程基础? 如何在10小时内通过项目和问题驱动的方式教计算机小白编程基础? Apr 02, 2025 am 07:18 AM

如何在10小时内教计算机小白编程基础?如果你只有10个小时来教计算机小白一些编程知识,你会选择教些什么�...

如何绕过Investing.com的反爬虫机制获取新闻数据? 如何绕过Investing.com的反爬虫机制获取新闻数据? Apr 02, 2025 am 07:03 AM

攻克Investing.com的反爬虫策略许多人尝试爬取Investing.com(https://cn.investing.com/news/latest-news)的新闻数据时,常常�...

Python 3.6加载pickle文件报错ModuleNotFoundError: No module named '__builtin__'怎么办? Python 3.6加载pickle文件报错ModuleNotFoundError: No module named '__builtin__'怎么办? Apr 02, 2025 am 06:27 AM

Python3.6环境下加载pickle文件报错:ModuleNotFoundError:Nomodulenamed...

使用Scapy爬虫时,管道文件无法写入的原因是什么? 使用Scapy爬虫时,管道文件无法写入的原因是什么? Apr 02, 2025 am 06:45 AM

使用Scapy爬虫时管道文件无法写入的原因探讨在学习和使用Scapy爬虫进行数据持久化存储时,可能会遇到管道文�...

See all articles