Utilisez le framework Python Scrapy pour explorer les URL en boucle. Chaque fois qu'il s'exécute pendant un certain temps, il reste bloqué sans aucune erreur.

Question

Chaque fois qu'il fonctionne pendant environ une demi-heure, il se bloque directement. Il n'y a aucune erreur dans le journal. Lorsqu'il se bloque, l'utilisation du processeur est très élevée.

J'ai défini le délai d'expiration du téléchargement dans settings.py, mais ce n'est pas la raison du délai d'attente

ctrl-c ne peut pas se terminer normalement. Après la sortie de ctrl-z, le même problème persiste lors de la poursuite de l'exécution. Il se fige à nouveau après une demi-heure

.

Answer 1

Vérifiez d'abord TOP pour voir si la mémoire est trop élevée ou si le processeur est trop élevé, puis découvrez quels processus sont occupés
S'il s'agit de tous vos processus d'exploration, vous devez alors vérifier le code pour voir s'il y a une partie qui n'a pas été publié

En bref, étudions sous tous les aspects

Answer 2

strace