Comment récupérer efficacement le contenu d'une page à l'aide de la bibliothèque « requests » de Python ?

Récupération du contenu d'une page avec des requêtes asynchrones

La bibliothèque de requêtes Python fournit une fonctionnalité de mappage asynchrone, async.map, pour gérer plusieurs requêtes simultanément. Cependant, lorsque vous utilisez async.map, vous pouvez rencontrer des problèmes pour obtenir le contenu de la réponse pour chaque page.

Pour réussir à récupérer le contenu de la page, vous devez suivre ces étapes :

1 . Définissez une fonction pour votre tâche :
Créez une fonction qui définit l'action que vous souhaitez effectuer sur chaque objet de réponse. Par exemple, si vous souhaitez imprimer le contenu de la réponse, votre fonction pourrait ressembler à ceci :

def print_content(response):
    print(response.content)

2. Ajoutez la fonction en tant que hook d'événement :
Dans votre demande, ajoutez la fonction définie à l'étape 1 en tant que hook d'événement. Cela exécutera votre fonction chaque fois qu'une réponse est reçue de manière asynchrone.

action_item = async.get(url, hooks={'response': print_content})

3. Appelez async.map sur une liste de demandes :
Compilez une liste de toutes les demandes ou actions que vous devez effectuer. Ensuite, appelez async.map en transmettant la liste des actions. Cela exécutera toutes les tâches de manière asynchrone.

async_list.append(action_item)

async.map(async_list)

En suivant ces étapes, vous pouvez utiliser la fonctionnalité async.map de la bibliothèque de requêtes pour récupérer le contenu de plusieurs pages de manière asynchrone en Python.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!