Gunakan rangka kerja scrapy python untuk merangkak URL dalam gelung Setiap kali ia berjalan untuk seketika, ia tersekat tanpa sebarang ralat.

Question

Setiap kali ia berjalan selama kira-kira setengah jam, ia membeku secara langsung Tidak ada ralat dalam log Apabila ia membeku, penggunaan CPU adalah sangat tinggi

Saya menetapkan tamat masa muat turun dalam setting.py, tetapi ia bukan sebab tamat masa

ctrl-c tidak boleh keluar seperti biasa Selepas ctrl-z keluar, masalah yang sama berterusan apabila terus melaksanakan Ia membeku semula selepas setengah jam

Answer 1

Mula-mula semak TOP untuk melihat sama ada memori terlalu tinggi atau CPU terlalu tinggi, dan kemudian ketahui proses mana yang diduduki
Jika semuanya adalah proses perangkak anda, maka anda perlu menyemak kod untuk melihat jika terdapat mana-mana bahagian yang belum dikeluarkan

Ringkasnya, mari kita siasat dari semua aspek

Answer 2

strace