Python でチェックポイントを設定するための簡単な実装コード-Python チュートリアル-php.cn

Python でチェックポイントを設定するための簡単な実装コード

WBOY

リリース： 2016-06-16 08:43:33

オリジナル

1312 人が閲覧しました

チェックポイントと言えば、実際には過去の履歴の記録であり、ここでは単純化して説明します。たとえば、テキスト内にリンクアドレスが山のようにあります。私の現在のタスクは、これらのアドレスにコンテンツをダウンロードすることです。また、ネットワークの問題や Web サイトの問題により、リンク切れやソケット例外エラーが発生する可能性があります。しかし、どのような種類のエラーが発生しても、プログラムが実行し続けることを願っています。または、停止してダウンロードリンクから実行を続行することもできます。始めたところから逃げるのではなく。質問はとても簡単です。これらのリンクはコンテキストフリーであるため (コンテキスト関連の状況は個別に分析する必要があります)。したがって、プログラムの実行が停止する前に最後の項目を記録する限り、以前の作業を続行できると思います。ここの実装で使用されているのは、元のリンクを記録することです。カウンターメソッドを使用して記録することもできます。コードは次のとおりです:

# 这个异常是原文本内容中未出现检查点内容出现造成的  
class CheckPointMissContentError: 
  pass 
# 将文件读取指针fd移至到检查点对应的内容处  
# check point 的规则为，读取文件一行或者多行，进行操作后，将此一行或多行送入  
# 检查文件check_point中。以后再次运行程序，即可从该检查点处继续运行。  
def GoCheckPoint(fd,check_point): 
  if not os.path.isfile(check_point): 
    f_check = open(check_point,'w') 
    f_check.close() 
  f_check = open(check_point,'r') 
  lines = f_check.readlines() 
  if len(lines) > 0: 
    check_content = lines[-1] #找到检查点最后一行  
    check_content = check_content.strip(' /n/r') 
    # go to check point  
    while True: 
      content = fd.readline() 
      if content == '': # eof  
        raise CheckPointMissContentError 
      if content.strip(' /n/r') == check_content: 
        break 
         
  f_check.close()#关闭检查点

ログイン後にコピー

上記の段落だけでは不十分です。次のコードを追加する必要があります:

# 伪代码  
def Download(downloadlist,sleep_time): 
   
  if os.path.isfile(downloadlist): 
    f = open(downloadlist) 
    # check_point file name，这里为自动生成一个检查点文件  
    check_point = file[0:file.rfind('.')]+'_check.txt' 
    Util.GoCheckPoint(f,check_point) #这就是上面代码中的GoCheckPoint函数  
    f_check = open(check_point,'a')# 以追加方式写入  
     
    try: 
      while True: 
        content = f.readline() 
        if content == '': # eof  
          break 
        content = content.strip(' /n/r') 
        if content != '': 
          # has download url  
          time.sleep(sleep_time) 
          DownloadOper(path,url) #这里是伪代码..可以认为是urllib.request.retrieve()函数或者是urllib.request.urlopen()啥的  
        # 作为响应的操作后再将内容写入检查点文件  
          f_check.write(content+'/n') 
          f_check.flush() # 必须的，否则会缓存，不会写入硬盘中  
    except : # 蹦个异常也不怕,以后再次按F5执行即可  
      raise Exception() 
      return Util.FAILURE # 这是我设置的常量，大家认为是0或者1就可以了  
    finally: 
      f.close() 
      f_check.close()# 关闭文件  
    print('Downloading is done........................') 
    return Util.SUCCESS

ログイン後にコピー

操作実行後にチェックポイントファイルに書き込みます。将来プログラムがハングした場合でも、チェックポイントファイルが存在する限り、以前の作業を続行できます。ただし、ここでのチェックポイントは、データベースのトランザクション処理のチェックポイントと比較すると、まだ単純すぎます。