简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Python - Bagaimana dengan cepat mengesahkan kod status halaman web dengan 200 juta++ URL?
世界只因有你
世界只因有你 2017-05-18 10:56:14
0
5
568

Saya menggunakan permintaan untuk menulis berbilang benang, tetapi ia terasa agak lambat.

世界只因有你
世界只因有你

membalas semua(5)
PHPzhong
PHPzhong2017-05-18 10:58:14 Tingkat 5

Gunakan sokongan klien curl Tornado untuk menutup sambungan selepas membaca pengepala permintaan. (Saya belum mencubanya lagi. Jika klien HTTP yang disediakannya tidak menyokong penutupan sambungan di tengah jalan, anda boleh menggunakan TCP dan kemudian menggunakan http-parser untuk menghuraikannya seperti yang saya lakukan.)

Baiklah, sebenarnya anda hanya boleh menambah sambungan untuk fetchtitle untuk mendapatkan kod status... (ingat untuk memasang pycurl)

Suka +0
Tambah Balasan
巴扎黑
巴扎黑2017-05-18 10:58:14 Tingkat 4

Python sememangnya lambat Jika anda ingin cepat, tulis sahaja permintaan tcp dan kemudian baca balasan Selepas membaca status, tutup soket.

Suka +0
Tambah Balasan
左手右手慢动作
左手右手慢动作2017-05-18 10:58:14 Tingkat 3

Menggunakan grequests, permintaan dirangkumkan serentak

https://github.com/kennethrei...

Suka +0
Tambah Balasan
迷茫
迷茫2017-05-18 10:58:14 Tingkat 2

Dalam kes ini, anda boleh mempertimbangkan untuk menggunakan gevent, tornado, scrapy-redis, asyncio!

Suka +0
Tambah Balasan
大家讲道理
大家讲道理2017-05-18 10:58:14 Tingkat 1

Menggunakan Head untuk meminta bolehkah lebih cepat?

Suka +0
Tambah Balasan
Topik popular
Lagi>
Artikel popular
Tutorial Popular
Lagi>
Tutorial berkaitan
Cadangan popular
Kursus terkini
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan
Tentang kita Penafian Sitemap
Laman web PHP Cina：Latihan PHP dalam talian kebajikan awam，Bantu pelajar PHP berkembang dengan cepat！