내가 크롤링한 웹페이지에 오늘 정보가 업데이트되었는데 크롤러가 이를 실행했지만 크롤링하지 않았습니다.
사장님들이 좀 더 구체적이고 교류가 많았으면 좋겠습니다
@config(age) 매개변수 설정은 index.page 실행을 직접 무시합니다
on_start의 @every는 하루이므로 self.crawl에 age=12 * 60 * 60 半天是比较合适的,保证每次 every 肯定不会被 age 所限制。另外 @config(age=10 * 24 * 60 * 60)를 설정하면 10일 이내에 다시 크롤링하지 않는다는 의미입니다.
age=12 * 60 * 60
@config(age=10 * 24 * 60 * 60)
@config(age) 매개변수 설정은 index.page 실행을 직접 무시합니다
on_start의 @every는 하루이므로 self.crawl에
age=12 * 60 * 60
半天是比较合适的,保证每次 every 肯定不会被 age 所限制。另外@config(age=10 * 24 * 60 * 60)
를 설정하면 10일 이내에 다시 크롤링하지 않는다는 의미입니다.