python - 如何解決程式運行太久之後被作業系統暫停的情況？

Question

我有幾個python爬蟲程序，需要持續不間斷運行，但是每次都是運行了兩天之後變得無響應，每次都是阻塞在time.sleep(60)的地方，但是進程又沒有死掉，在控制台輸入Ctrl C都不能退出程序，只能在任務管理器裡強制退出才行。

請問這是由什麼原因導致的？以及如何解決這個問題？

先謝謝各位前輩了！

Answer 1

問題分析建議:

linux: 可以嘗試透過strace指令追蹤進程狀態, 根據輸出的內容做分析,或透過proc對應目錄的檔案對進程的各項指標做分析! Ctrl-C無效,懷疑進程進入不可中斷的睡眠,具體還得看實際取得的數據才有可能知道

windows: 透過任務管理器找到對應的進程, 右鍵->建立轉儲檔案, 分析該轉儲檔案看能否找出原因.

爬蟲程序: 自身對爬取的進度,做詳細的日誌, 不管是鏈接,還是遇到的異常,最好都記錄下來,以便得知具體停止的時間, 和停止時,爬取的進度, 下次可以先針對這個進度再去深入分析.

Answer 2

linux系統的話試試用crontab去做定時任務
windows用任務計劃