Quel est le problème avec le fil de file d'attente dans GO's Crawler Colly?

GO CRAWLER COLLY'S DEMANDE FILLE ET CONDURRENCE DE TIFE: Discussion approfondie

Lorsque vous utilisez la bibliothèque Crawler Crawler de GO, il est crucial de comprendre sa file d'attente de demande et son mécanisme de concurrence de thread. Cet article analyse l'interaction entre le nombre de threads de file d'attente dans Colly et le délai de demande, et répond à "La question des threads de file d'attente dans Go Crawler Colly?".

Nous utilisons un exemple pour illustrer: Définissez le nombre de threads de file d'attente sur 2, utilisez q, _ := queue.New(2, storage) pour créer une file d'attente et ajoutez trois demandes. Pour observer l'effet, réglez le retard du collecteur à 5 secondes. Intuitivement, les deux demandes doivent être émises presque en même temps et retournées après 5 secondes; La troisième demande est exécutée après 10 secondes.

Cependant, les résultats réels sont différents:

1. Deux demandes sont créées.
2. Après 5 secondes, la première demande revient.
3. La troisième demande est créée.
4. Après encore 5 secondes, la deuxième demande revient.
5. Après encore 5 secondes, la troisième demande revient.

Cela montre que lorsque le collecteur de Colly traite la demande, il tiendra compte de la situation globale de la file d'attente, mais le retard de la demande elle-même affectera le temps d'exécution réel. Le nombre de threads de file d'attente limite le nombre de demandes simultanées, mais si la demande est définie, le retard remplacera l'effet limite simultanée du nombre de threads. Chaque demande sera retardée de 5 secondes supplémentaires une fois la demande précédente terminée, plutôt que d'être traitée en parallèle réel.

La fonction de rappel OnRequest de Colly est licenciée lorsque la demande est créée, pas lorsque la demande est émise. Il est principalement utilisé pour le prétraitement avant l'émission de demande, plutôt que de contrôler l'heure de l'émission de demande. Le temps de délivrance de demande réel est déterminé par le réglage de retard du collecteur.

Par conséquent, lorsque la demande est définie pour retarder, le nombre de threads dans la file d'attente Colly a peu d'impact sur la concurrence, et l'ordre et l'heure de la demande sont principalement contrôlés par le réglage de retard du collecteur. Cela permet d'avoir une compréhension plus claire du mécanisme de file d'attente de Colly et du contrôle de la concurrence.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!