最近发现部分服务器上出现几个情况:
请教scrapy大神,
scrapy在执行scrapy crawl price 后总是停顿十几秒才会打印出下一步的输出结果。
自动设置use-agent,会卡顿十几秒换下一个use-agent继续卡住。
有没有大神读过源码,知道这是什么情况吗?
学习是最好的投资!
最初は長期的な遅れは発生しませんが、長期間経過すると長期的な遅れが発生します。
これとソース コードには何も問題はありません。コードを確認するか、スパイダー コードを投稿して確認する必要があります。そうして初めて、具体的な問題を知ることができます
少なくとも私は現在データをクロールしていますが、あなたが言ったような遅れはありません。起動時に少しだけラグがありますが、これはロードされたファイルが多すぎるためだと思います。あなたの遅れている状況。あなたが書いたクローラーが原因かどうかを確認する必要があります。コードを投稿してください。
最初は長期的な遅れは発生しませんが、長期間経過すると長期的な遅れが発生します。
これとソース コードには何も問題はありません。コードを確認するか、スパイダー コードを投稿して確認する必要があります。そうして初めて、具体的な問題を知ることができます
少なくとも私は現在データをクロールしていますが、あなたが言ったような遅れはありません。起動時に少しだけラグがありますが、これはロードされたファイルが多すぎるためだと思います。あなたの遅れている状況。あなたが書いたクローラーが原因かどうかを確認する必要があります。コードを投稿してください。