Apakah masalah dengan thread giliran di crawler colly go?

GO Crawler Colly's Queue dan Thread Concurrency: Perbincangan mendalam

Apabila menggunakan Perpustakaan Colly Crawler GO, adalah penting untuk memahami mekanisme giliran dan thread concurrency. Artikel ini menganalisis interaksi antara bilangan benang giliran di Colly dan kelewatan permintaan, dan menjawab "persoalan benang giliran di crawler colly?".

Kami menggunakan contoh untuk menggambarkan: Tetapkan kiraan thread giliran ke 2, gunakan q, _ := queue.New(2, storage) untuk membuat giliran, dan menambah tiga permintaan. Untuk memerhatikan kesannya, tetapkan kelewatan pemungut hingga 5 saat. Secara intuitif, kedua -dua permintaan harus dikeluarkan hampir pada masa yang sama dan kembali selepas 5 saat; Permintaan ketiga dilaksanakan selepas 10 saat.

Walau bagaimanapun, hasil sebenar berbeza:

1. Dua permintaan dibuat.
2. Selepas 5 saat, permintaan pertama kembali.
3. Permintaan ketiga dibuat.
4. Selepas 5 saat lagi, permintaan kedua kembali.
5. Selepas 5 saat lagi, permintaan ketiga kembali.

Ini menunjukkan bahawa apabila pemungut Colly memproses permintaan itu, ia akan mempertimbangkan keadaan keseluruhan barisan, tetapi kelewatan permintaan itu sendiri akan mempengaruhi masa pelaksanaan sebenar. Bilangan benang giliran mengehadkan bilangan permintaan serentak, tetapi jika permintaan itu ditetapkan, kelewatan akan mengatasi kesan had serentak bilangan benang. Setiap permintaan akan ditangguhkan oleh 5 saat lagi selepas permintaan sebelumnya selesai, dan bukannya diproses secara selari.

Fungsi panggil balik OnRequest Colly dipecat apabila permintaan dibuat, bukan apabila permintaan itu dikeluarkan. Ia digunakan terutamanya untuk pra -proses sebelum penerbitan permintaan, dan bukannya mengawal masa penerbitan permintaan. Waktu penerbitan permintaan sebenar ditentukan oleh penetapan kelewatan pemungut.

Oleh itu, apabila permintaan ditetapkan untuk menangguhkan, bilangan benang dalam barisan Colly mempunyai sedikit kesan terhadap kesesuaian, dan perintah dan masa permintaan itu dikawal oleh penubuhan pemungut. Ini membantu mempunyai pemahaman yang lebih jelas mengenai mekanisme giliran Colly dan kawalan konvensyen.

Atas ialah kandungan terperinci Apakah masalah dengan thread giliran di crawler colly go?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!