自定义 Google Cloud Python 库中的重试谓词
Google Cloud 的 Python 库专为提高弹性而设计。它们添加了强大的重试机制来有效处理瞬态错误。但是,在某些情况下,默认重试行为可能不适合。例如,您可能会遇到某些不应触发重试的错误,或者您可能需要对重试逻辑进行更多控制。
这篇博文探讨了 Google Cloud 的 Python 库如何与自定义重试谓词交互,让您可以自定义重试行为以更好地满足您的特定要求。
在这篇博文中,我想重点介绍一个与在 Google Cloud 库中使用服务帐号模拟相关的具体示例。在我设计并目前正在研究的架构中,我们将用户环境隔离到单独的 Google Cloud 项目中。我们注意到,我们的一些服务在某些用户流中性能下降。经过调查,我们将问题追溯到前面提到的库的默认重试行为。
默认重试机制
在进行自定义之前,了解 Google Cloud Python 库的默认重试行为非常重要。这些库通常具有指数退避策略,并增加重试抖动。这意味着,当发生暂时性错误时,库将在短暂延迟后重试该操作,并且每次后续尝试后延迟都会呈指数增长。包含抖动会带来延迟的随机性,这有助于防止多个客户端之间的重试同步。
虽然此策略在许多情况下都很有效,但它可能并不适合所有情况。例如,如果您使用服务帐户模拟并遇到身份验证错误,则尝试重试该操作可能没有帮助。在这种情况下,可能需要先解决底层身份验证问题,然后才能重试成功。
输入自定义重试谓词
在 Google Cloud 库中,自定义重试谓词使您能够指定应进行重试尝试的精确条件。您可以创建一个接受异常作为输入的函数,如果应该重试操作则返回 True,如果不应该重试则返回 False。
例如,下面是一个自定义重试谓词,可防止重试服务帐户模拟期间发生的某些身份验证错误:
from google.api_core.exceptions import GoogleAPICallError from google.api_core.retry import Retry, if_transient_error def custom_retry_predicate(exception: Exception) -> bool: if if_transient_error(exception): # exceptions which should be retried if isinstance(exception, GoogleAPICallError): if "Unable to acquire impersonated credentials" in exception.message: # look for specific impersonation error return False return True return False
此谓词检查异常是否为 GoogleAPICallError,并专门查找消息“无法获取模拟凭据”。如果满足此条件,则返回 False,防止重试。
将自定义谓词与 Google Cloud 库结合使用
Firestore:
from google.api_core.exceptions import GoogleAPICallError from google.api_core.retry import Retry, if_transient_error def custom_retry_predicate(exception: Exception) -> bool: if if_transient_error(exception): # exceptions which should be retried if isinstance(exception, GoogleAPICallError): if "Unable to acquire impersonated credentials" in exception.message: # look for specific impersonation error return False return True return False
BigQuery:
from google.cloud import firestore # ... your Firestore setup ... retry = Retry(predicate=custom_retry_predicate, timeout=10) # example of an arbitrary firestore api call, works with all stream = collection.stream(retry=retry)
在这两个示例中,我们使用自定义谓词和超时值创建一个 Retry 对象。然后,此 Retry 对象作为参数传递给相应的 API 调用。
自定义重试谓词的好处
- 细粒度控制:根据特定异常或错误消息精确定义重试条件。
- 提高效率:避免对非暂时性错误进行不必要的重试,从而节省资源和时间。
- 增强应用程序稳定性:妥善处理特定错误以防止级联故障。
结论
自定义重试谓词提供了一种增强 Google Cloud 应用程序弹性的有效方法。通过自定义重试行为以满足您的特定要求,您可以确保您的应用程序稳健、高效且可扩展。负责您的错误处理并掌握重试过程!
以上是自定义 Google Cloud Python 库中的重试谓词的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

使用FiddlerEverywhere进行中间人读取时如何避免被检测到当你使用FiddlerEverywhere...

如何在10小时内教计算机小白编程基础?如果你只有10个小时来教计算机小白一些编程知识,你会选择教些什么�...

攻克Investing.com的反爬虫策略许多人尝试爬取Investing.com(https://cn.investing.com/news/latest-news)的新闻数据时,常常�...

Python3.6环境下加载pickle文件报错:ModuleNotFoundError:Nomodulenamed...

使用Scapy爬虫时管道文件无法写入的原因探讨在学习和使用Scapy爬虫进行数据持久化存储时,可能会遇到管道文�...
