在Scrapy爬蟲中使用代理IP和反爬蟲策略

在Scrapy 爬蟲中使用代理IP 和反爬蟲策略

近年來，隨著互聯網的發展，越來越多的數據需要透過爬蟲來獲取，而對於爬蟲的反爬蟲策略也越來越嚴格。在許多場景下，使用代理 IP 和反爬蟲策略已成為爬蟲開發者必備的技能。在本文中，我們將討論如何在 Scrapy 爬蟲中使用代理 IP 和反爬蟲策略，以確保爬取資料的穩定性和成功率。

一、為什麼需要使用代理 IP

爬蟲造訪同一個網站時，往往會被識別為同一個 IP 位址，這樣很容易被封鎖或被限制存取。為了避免這種情況發生，需要使用代理 IP 來隱藏真實 IP 位址，從而更好地保護爬蟲的身份。

二、如何使用代理 IP

在 Scrapy 中使用代理 IP，可以透過在settings.py檔案中設定DOWNLOADER_MIDDLEWARES屬性來實現。

1. 在settings.py檔案中加入以下程式碼：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 1,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'your_project.middlewares.RandomUserAgentMiddleware': 400,
    'your_project.middlewares.RandomProxyMiddleware': 410,
}

2. 在middlewares.py檔案中定義RandomProxyMiddleware類，用於實作隨機代理IP功能：

import requests
import random


class RandomProxyMiddleware(object):
    def __init__(self, proxy_list_path):
        with open(proxy_list_path, 'r') as f:
            self.proxy_list = f.readlines()

    @classmethod
    def from_crawler(cls, crawler):
        settings = crawler.settings
        return cls(settings.get('PROXY_LIST_PATH'))

    def process_request(self, request, spider):
        proxy = random.choice(self.proxy_list).strip()
        request.meta['proxy'] = "http://" + proxy

其中，需要在settings.py檔案中設定代理IP清單的路徑：

PROXY_LIST_PATH = 'path/to/your/proxy/list'

在執行爬取時，Scrapy 會隨機選取一個代理IP 進行訪問，從而保證了身分的隱藏性和爬取的成功率。

三、關於反爬蟲策略

目前，網站對於爬蟲的反爬蟲策略已經非常普遍，從簡單的 User-Agent 判斷到更複雜的驗證碼和滑動條驗證。下面，針對幾種常見的反爬蟲策略，我們將討論如何在 Scrapy 爬蟲中進行應對。

1. User-Agent 反爬蟲

為了防止爬蟲的訪問，網站常常會判斷User-Agent 字段，如果User-Agent 不是瀏覽器的方式，則會將其攔截下來。因此，我們需要在 Scrapy 爬蟲中設定隨機 User-Agent，以避免 User-Agent 被辨識為爬蟲。

在middlewares.py下，我們定義RandomUserAgentMiddleware類，用於實作隨機User-Agent 功能：

import random
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware


class RandomUserAgentMiddleware(UserAgentMiddleware):
    def __init__(self, user_agent):
        self.user_agent = user_agent

    @classmethod
    def from_crawler(cls, crawler):
        s = cls(crawler.settings.get('user_agent', 'Scrapy'))
        crawler.signals.connect(s.spider_closed, signal=signals.spider_closed)
        return s

    def process_request(self, request, spider):
        ua = random.choice(self.user_agent_list)
        if ua:
            request.headers.setdefault('User-Agent', ua)

同時，在settings.py檔案中設定User-Agent 清單：

USER_AGENT_LIST = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36']

2. IP 反爬蟲

為了防止大量請求來自同一IP 位址，網站可能會對同一IP 位址的請求做出限製或禁止存取。針對這種情況，我們可以使用代理 IP，透過隨機切換 IP 位址的方式來避免 IP 反爬蟲。

3. Cookies 和Session 反爬蟲

網站可能會透過設定Cookies 和Session 等方式來識別請求的身份，這些方式往往會與帳戶綁定，同時也會限制每個帳戶的請求頻率。因此，我們需要在 Scrapy 爬蟲中進行 Cookies 和 Session 的模擬，以避免被識別為非法請求。

在Scrapy 的settings.py 檔案中，我們可以進行以下設定：

COOKIES_ENABLED = True
COOKIES_DEBUG = True

同時，在middlewares.py檔案中定義CookieMiddleware類，用於模擬Cookies 功能：

from scrapy.exceptions import IgnoreRequest


class CookieMiddleware(object):
    def __init__(self, cookies):
        self.cookies = cookies

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            cookies=crawler.settings.getdict('COOKIES')
        )

    def process_request(self, request, spider):
        request.cookies.update(self.cookies)

其中，COOKIES 的設定如下：

COOKIES = {
    'cookie1': 'value1',
    'cookie2': 'value2',
    ...
}

在請求傳送前，應將Cookies 新增至request 的cookies 欄位。若請求沒有攜帶 Cookie，很可能會被網站識別為非法請求。

四、總結

以上是在 Scrapy 爬蟲中使用代理 IP 和反爬蟲策略的介紹，使用代理 IP 和反爬蟲策略是防止爬蟲被限制和封禁的重要手段。當然，反爬蟲策略層出不窮，針對不同的反爬蟲策略，我們還需要做相對應的處理。

以上是在Scrapy爬蟲中使用代理IP和反爬蟲策略的詳細內容。更多資訊請關注PHP中文網其他相關文章！