Python爬虫程序运行“卡顿”

Question

用Python爬取某网站两个月的数据，程序“卡顿”，但并未报错，也未结束。如上图所示。
例如，我把时间循环设置为2016.8.1--2016.10.1，抓取到数据的就只能到2016.9.4，然后程序也没运行结束，但数据库也一直没有更多的数据进入。出现“卡顿”。

然后我换了台配置更好的电脑，情况会好很多，可以抓取半年的数据。本来我想抓一年的数据，但抓取到半年的数据的数据后，也会出现如图所示的情况，并且数据库也一直未添加更多的数据。即“卡顿”。

我想知道有没有办法能够一次抓取的数据多点？？

Answer 1

Apakah sebab halangan? Anda boleh menganalisisnya dengan cara berikut:

1. Analisis penangkapan paket untuk melihat sama ada ia disebabkan oleh rangkaian
2. Apakah rangka kerja yang anda gunakan untuk menulis crawler?
3. Semak sama ada kumpulan url telah diproses dan tiada tugas sasaran baharu telah ditambahkan pada baris gilir.

Answer 2

Anda boleh menggunakan multi-threading, setiap thread memproses data sebulan, supaya walaupun terdapat masalah dengan data mana-mana bulan, integriti kebanyakan data masih boleh dipastikan, dan kemudian data bulan dengan masalah boleh dianalisis secara terperinci.