Python - Bagaimana dengan cepat mengesahkan kod status halaman web dengan 200 juta++ URL?
世界只因有你
世界只因有你 2017-05-18 10:56:14
0
5
619

Saya menggunakan permintaan untuk menulis berbilang benang, tetapi ia terasa agak lambat.

世界只因有你
世界只因有你

membalas semua(5)
PHPzhong

Gunakan sokongan klien curl Tornado untuk menutup sambungan selepas membaca pengepala permintaan. (Saya belum mencubanya lagi. Jika klien HTTP yang disediakannya tidak menyokong penutupan sambungan di tengah jalan, anda boleh menggunakan TCP dan kemudian menggunakan http-parser untuk menghuraikannya seperti yang saya lakukan.)

Baiklah, sebenarnya anda hanya boleh menambah sambungan untuk fetchtitle untuk mendapatkan kod status... (ingat untuk memasang pycurl)

巴扎黑

Python sememangnya lambat Jika anda ingin cepat, tulis sahaja permintaan tcp dan kemudian baca balasan Selepas membaca status, tutup soket.

左手右手慢动作

Menggunakan grequests, permintaan dirangkumkan serentak

https://github.com/kennethrei...

迷茫

Dalam kes ini, anda boleh mempertimbangkan untuk menggunakan gevent, tornado, scrapy-redis, asyncio!

大家讲道理

Menggunakan Head untuk meminta bolehkah lebih cepat?

Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan