Comment Scrapy utilise l'IP proxy, l'agent utilisateur et les cookies pour éviter les stratégies anti-crawler

Avec le développement des robots d'exploration Web, de plus en plus de sites Web et de serveurs commencent à adopter des stratégies anti-crawler afin d'empêcher l'exploration malveillante des données. Ces stratégies incluent le blocage IP, la détection des agents utilisateurs, la vérification des cookies, etc. Sans stratégie de réponse correspondante, nos robots d’exploration peuvent facilement être qualifiés de malveillants et bannis. Par conséquent, afin d'éviter cette situation, nous devons appliquer des politiques telles que l'adresse IP proxy, l'agent utilisateur et les cookies dans le programme d'exploration du framework Scrapy. Cet article présentera en détail comment appliquer ces trois stratégies.

1. Proxy IP

Proxy IP peut transformer efficacement notre véritable adresse IP, empêchant ainsi le serveur de détecter notre programme d'exploration. Dans le même temps, l'IP proxy nous donne également la possibilité d'explorer plusieurs IP, évitant ainsi la situation où une seule IP est bloquée en raison de requêtes fréquentes.

Dans Scrapy, nous pouvons utiliser des middlewares pour implémenter les paramètres IP proxy. Tout d'abord, nous devons effectuer les configurations pertinentes dans settings.py, par exemple :

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,
    'scrapy_proxies.RandomProxy': 100,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}

Dans la configuration ci-dessus, nous utilisons la bibliothèque scrapy_proxies pour implémenter les paramètres IP du proxy. Parmi eux, 100 représente la priorité, et plus la valeur est petite, plus la priorité est élevée. Après ce paramètre, pendant le processus de demande, Scrapy sélectionnera au hasard une adresse IP dans le pool IP proxy pour effectuer la demande.

Bien sûr, nous pouvons également personnaliser la source IP du proxy. Par exemple, nous pouvons utiliser l'API fournie par le site Web proxy IP gratuit pour obtenir l'IP proxy. L'exemple de code est le suivant :

class GetProxy(object):
    def __init__(self, proxy_url):
        self.proxy_url = proxy_url

    def get_proxy_ip(self):
        response = requests.get(self.proxy_url)
        if response.status_code == 200:
            json_data = json.loads(response.text)
            proxy = json_data.get('proxy')
            return proxy
        else:
            return None


class RandomProxyMiddleware(object):
    def __init__(self):
        self.proxy_url = 'http://api.xdaili.cn/xdaili-api//greatRecharge/getGreatIp?spiderId=e2f1f0cc6c5e4ef19f884ea6095deda9&orderno=YZ20211298122hJ9cz&returnType=2&count=1'
        self.get_proxy = GetProxy(self.proxy_url)

    def process_request(self, request, spider):
        proxy = self.get_proxy.get_proxy_ip()
        if proxy:
            request.meta['proxy'] = 'http://' + proxy

Dans le code ci-dessus, nous définissons une classe RandomProxyMiddleware et utilisons la bibliothèque Requests pour obtenir l'IP du proxy. En ajoutant l'adresse IP du proxy à l'en-tête de la requête, nous pouvons définir l'adresse IP du proxy.

2. agent utilisateur

L'agent utilisateur fait partie de l'en-tête de la demande d'identification, qui contient des informations telles que l'appareil, le système d'exploitation et le navigateur qui a initié la demande. Lorsque de nombreux serveurs traitent des requêtes, ils utilisent les informations de l'agent utilisateur dans l'en-tête de la requête pour déterminer si la requête est un robot d'exploration, effectuant ainsi un traitement anti-crawler.

De même, dans Scrapy, nous pouvons utiliser des middlewares pour implémenter les paramètres de l'agent utilisateur. Par exemple :

class RandomUserAgent(object):
    def __init__(self):
        self.user_agents = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3']
                  
    def process_request(self, request, spider):
        user_agent = random.choice(self.user_agents)
        request.headers.setdefault('User-Agent', user_agent)

Dans le code ci-dessus, nous définissons une classe RandomUserAgent et sélectionnons au hasard un User-Agent comme informations sur l'agent utilisateur dans l'en-tête de la requête. De cette façon, même si notre robot envoie un grand nombre de requêtes, il peut éviter d'être considéré comme un robot malveillant par le serveur.

3. Cookies

Les cookies sont des données renvoyées par le serveur via le champ Set-Cookie dans l'en-tête de réponse lors de la réponse à une demande. Lorsque le navigateur lance à nouveau une requête auprès du serveur, les informations précédentes sur les cookies seront incluses dans l'en-tête de la requête pour réaliser la vérification de la connexion et d'autres opérations.

De même, dans Scrapy, nous pouvons également définir des cookies via des middlewares. Par exemple :

class RandomCookies(object):
    def __init__(self):
        self.cookies = {
            'example_cookie': 'example_value'
        }
                  
    def process_request(self, request, spider):
        cookie = random.choice(self.cookies)
        request.cookies = cookie

Dans le code ci-dessus, nous définissons une classe RandomCookies et sélectionnons au hasard un Cookie comme informations sur les Cookies dans l'en-tête de la requête. De cette manière, nous pouvons mettre en œuvre des opérations de vérification de connexion en installant des cookies pendant le processus de demande.

Résumé

Dans le processus d'utilisation de Scrapy pour l'exploration de données, il est très essentiel d'éviter les idées et les méthodes des stratégies anti-crawler. Cet article explique comment définir l'adresse IP du proxy, l'agent utilisateur, les cookies et d'autres politiques via des middlewares dans Scrapy pour rendre le programme d'exploration plus caché et sécurisé.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!