這篇文章主要給大家介紹了在Python中異常重試的解決方案,文中介紹的非常詳細,相信對大家學習或使用python具有一定的參考學習價值,需要的朋友們下面隨著小編一起來看看吧。
前言
大家在做資料抓取的時候,常常遇到網路問題導致的程式保存,先前只是記錄了錯誤內容,並對錯誤內容進行後製。
原先的流程:
def crawl_page(url): pass def log_error(url): pass url = "" try: crawl_page(url) except: log_error(url)
改進後的流程:
attempts = 0 success = False while attempts < 3 and not success: try: crawl_page(url) success = True except: attempts += 1 if attempts == 3: break
最近發現的新的解決方案:retrying
retrying是一個Python的重試包,可以用來自動重試一些可能運行失敗的程式段。 retrying
提供一個裝飾器函數retry
,被裝飾的函數就會在執行失敗的條件下重新執行,預設只要一直報錯就會不斷重試。
import random from retrying import retry @retry def do_something_unreliable(): if random.randint(0, 10) > 1: raise IOError("Broken sauce, everything is hosed!!!111one") else: return "Awesome sauce!" print do_something_unreliable()
如果我們執行have_a_try
函數,那麼直到random.randint
傳回5,它才會執行結束,否則會一直重新執行。
retry也可以接受一些參數,這個從原始碼Retrying類別的初始化函數可以看到可選的參數:
##stop<a href="http://www.php.cn/wiki/904.html" target="_blank">_max_attempt_number</a>:用來設定最大的嘗試次數,超過該次數就停止重試
stop_max_delay:例如設定成10000,那麼從被裝飾的函數開始執行的時間點開始,到函數成功運行結束或失敗報錯中止的時間點,只要這段時間超過10秒,函數就不會再執行了
wait_fixed:設定在兩次
retrying之間的停留時間
wait_random_min和wait_random_max:用隨機的方式產生兩次
retrying之間的停留時間
wait_exponential_multiplier和wait_exponential_max :以指數的形式產生兩次
retrying之間的停留時間,產生的值為
2^previous_attempt_number * wait_exponential_multiplier#,
previous_attempt_number#是前面已經
# retry
的次數,如果產生的這個值超過了wait_exponential_max
的大小,那麼之後兩個retrying之間的停留值都為wait_exponential_max
#。這個設計迎合了exponential backoff
演算法,可以減輕阻塞的情況。
我們可以指定要在出現哪些例外的時候再去retry,這個要用retry_on_<a href="http://www.php.cn/wiki/265.html" target="_blank">exception</a>
傳入一個函式物件:
def retry_if_io_error(exception): return isinstance(exception, IOError) @retry(retry_on_exception=retry_if_io_error) def read_a_file(): with open("file", "r") as f: return f.read()
在執行read_a_file
函數的過程中,如果報出例外狀況,那麼這個例外會以形參exception
傳入retry_if_io_error
函數中,如果exception
是IOError
那麼就進行retry
,如果不是就停止運轉並拋出異常。
我們也可以指定要在得到哪些結果的時候去retry
,這個要用retry_on_result
傳入一個函數物件:
def retry_if_result_none(result): return result is None @retry(retry_on_result=retry_if_result_none) def get_result(): return None
在執行get_result
成功後,會將函數的回傳值透過形參result
的形式傳入retry_if_result_none
函數中,如果傳回值是None
那麼就進行retry
,否則就結束並傳回函數值。
總結
【相關推薦】
1. 特別推薦:「php程式設計師工具箱」V0.1版本下載
2. Python免費影片教學
3. Python基礎入門教學
以上是發生異常重試的處理方案的詳細內容。更多資訊請關注PHP中文網其他相關文章!