光阴似箭催人老,日月如移越少年。
scheduler 停止調度是所有 project 都停止調度還是你嘗試重啟的那個停止調度?
追蹤 scheduler 日誌關於 project %s updated, status:%s, paused:%s, %d tasks 的內容,看看 schduler 是否得知 project 狀態已改變。
project %s updated, status:%s, paused:%s, %d tasks
unknown project 如果 project 确实存在,是不应该出现的not processing pack 是正常的,scheduler 重啟後,先前分發的任務就沒法追蹤了啟動時 scheduler 需要從資料庫中恢復所有活動任務的狀態,如果任務很多確實會比較耗時
unknown project
not processing pack
這個問題已經找到,pyspider的源碼中database下的mongodb下的statusdb的status_count查詢在資料量特別大的情況下查詢非常慢,會造成調度器啟動特別長
scheduler 停止調度是所有 project 都停止調度還是你嘗試重啟的那個停止調度?
追蹤 scheduler 日誌關於
project %s updated, status:%s, paused:%s, %d tasks
的內容,看看 schduler 是否得知 project 狀態已改變。unknown project
如果 project 确实存在,是不应该出现的not processing pack
是正常的,scheduler 重啟後,先前分發的任務就沒法追蹤了啟動時 scheduler 需要從資料庫中恢復所有活動任務的狀態,如果任務很多確實會比較耗時
這個問題已經找到,pyspider的源碼中database下的mongodb下的statusdb的status_count查詢在資料量特別大的情況下查詢非常慢,會造成調度器啟動特別長