python - pyspider scheduler 停止调度,重启时间长.
大家讲道理
大家讲道理 2017-04-18 10:04:38
0
2
618
大家讲道理
大家讲道理

光阴似箭催人老,日月如移越少年。

全部回覆(2)
巴扎黑

scheduler 停止調度是所有 project 都停止調度還是你嘗試重啟的那個停止調度?

追蹤 scheduler 日誌關於 project %s updated, status:%s, paused:%s, %d tasks 的內容,看看 schduler 是否得知 project 狀態已改變。

unknown project 如果 project 确实存在,是不应该出现的
not processing pack 是正常的,scheduler 重啟後,先前分發的任務就沒法追蹤了
啟動時 scheduler 需要從資料庫中恢復所有活動任務的狀態,如果任務很多確實會比較耗時

巴扎黑

這個問題已經找到,pyspider的源碼中database下的mongodb下的statusdb的status_count查詢在資料量特別大的情況下查詢非常慢,會造成調度器啟動特別長

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板