Verwenden Sie das Python-Scrapy-Framework, um URLs in einer Schleife zu crawlen. Jedes Mal, wenn es eine Weile ausgeführt wird, bleibt es ohne Fehler hängen.
世界只因有你
世界只因有你 2017-06-12 09:27:08
0
2
956

Jedes Mal, wenn es etwa eine halbe Stunde läuft, friert es sofort ein. Es gibt keinen Fehler im Protokoll. Wenn es einfriert, ist die CPU-Auslastung sehr hoch

Ich habe das Download-Timeout in Setting.py festgelegt, aber das ist nicht der Grund für das Timeout

Strg-C kann nicht normal beendet werden, das gleiche Problem bleibt bestehen, wenn die Ausführung nach einer halben Stunde wieder einfriert

世界只因有你
世界只因有你

Antworte allen(2)
小葫芦

先TOP看看是内否过高,还是CPU过高,再找到是被哪些进程占用了
如果都是你的爬虫进程,那就得排查代码,看看是不是哪里一直未被释放

总之从各方面去排查吧

Ty80

strace

Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage