如何在 Python 中使用代理-Python教程-PHP中文网

首页

后端开发

Python教程

如何在 Python 中使用代理

Linda Hamilton

Nov 16, 2024 pm 12:00 PM

How to Use Proxies in Python

如果您已经使用 Python 了一段时间，特别是在数据抓取的特定情况下，您可能遇到过在尝试检索数据时被阻止的情况。想。在这种情况下，了解如何使用代理是一项方便的技能。

在本文中，我们将探讨什么是代理、它们为何有用，以及如何通过 Python 中的库请求来使用它们。

什么是代理？

让我们从头开始定义什么是代理。

您可以将代理服务器视为计算机和互联网之间的“中间人”。当您向网站发送请求时，该请求首先通过代理服务器。然后，代理将您的请求转发到网站，接收响应并将其发送回给您。此过程会屏蔽您的 IP 地址，使请求看起来像是来自代理服务器而不是您自己的设备。

可以理解，这有很多后果和用途。例如，它可以用来绕过一些讨厌的 IP 限制，或保持匿名。

为什么在网络抓取中使用代理？

那么，为什么代理在抓取数据时可能会有所帮助？嗯，我们之前已经给出了理由。例如，您可以使用它们来绕过某些限制。

因此，在网页抓取的特定情况下，它们可能会很有用，原因如下：

避免 IP 封锁：网站经常监视可疑活动，例如单个 IP 在短时间内发出大量请求。使用代理有助于将您的请求分发到多个 IP，从而避免被阻止。
绕过地理限制：某些内容只能从某些位置访问，代理可以帮助您看起来就像是从其他国家/地区访问该网站一样。
增强隐私：代理可通过隐藏您的真实 IP 地址来保持您的抓取活动匿名。

如何在Python中使用请求来使用代理

requests 库是在 Python 中发出 HTTP 请求的流行选择，并且将代理合并到您的请求中非常简单。

让我们看看如何！

获取有效代理

首先要做的事情是：在实际使用代理之前，您必须获得有效的代理。为此，您有两种选择：

免费代理：您可以从免费代理列表等网站免费获取代理。它们很容易访问，但是，它们可能不可靠或很慢。
付费代理：Bright Data 或 ScraperAPI 等服务提供可靠的代理，具有更好的性能和支持，但您必须付费。

使用代理处理请求

现在您已经有了代理列表，您可以开始使用它们了。例如，您可以像这样创建一个字典：

proxies = {
    'http': 'http://proxy_ip:proxy_port',
    'https': 'https://proxy_ip:proxy_port',
}

登录后复制

现在您可以使用代理发出请求：

import requests

proxies = {
    'http': 'http://your_proxy_ip:proxy_port',
    'https': 'https://your_proxy_ip:proxy_port',
}

response = requests.get('https://httpbin.org/ip', proxies=proxies)

登录后复制

要查看请求的结果，您可以打印响应：

print(response.status_code)  # Should return 200 if successful
print(response.text)         # Prints the content of the response

登录后复制

请注意，如果一切顺利，响应应该显示代理服务器的 IP 地址，而不是您的。

使用请求的代理身份验证：用户名和密码

如果您的代理需要身份验证，您可以通过多种方式处理。

方法 1：在代理 URL 中包含凭据
要包含用户名和密码来管理代理中的身份验证，您可以这样做：

proxies = {
    'http': 'http://username:password@proxy_ip:proxy_port',
    'https': 'https://username:password@proxy_ip:proxy_port',
}

登录后复制

方法2：使用HTTPProxyAuth
或者，您可以使用 HTTPProxyAuth 类来处理身份验证，如下所示：

from requests.auth import HTTPProxyAuth

proxies = {
    'http': 'http://proxy_ip:proxy_port',
    'https': 'https://proxy_ip:proxy_port',
}

auth = HTTPProxyAuth('username', 'password')

response = requests.get('https://httpbin.org/ip', proxies=proxies, auth=auth)

登录后复制

如何使用旋转代理处理请求

如果您发出大量请求，使用单个代理可能还不够。在这种情况下，您可以使用轮换代理：这会定期或根据请求更改代理 IP 地址。

如果您想测试此解决方案，您有两个选择：使用列表手动轮换代理或使用代理轮换服务。

让我们看看这两种方法！

使用代理列表

如果您有代理列表，您可以手动轮换它们，如下所示：

import random

proxies_list = [
    'http://proxy1_ip:port',
    'http://proxy2_ip:port',
    'http://proxy3_ip:port',
    # Add more proxies as needed
]

def get_random_proxy():
    proxy = random.choice(proxies_list)
    return {
        'http': proxy,
        'https': proxy,
    }

for i in range(10):
    proxy = get_random_proxy()
    response = requests.get('https://httpbin.org/ip', proxies=proxy)
    print(response.text)

登录后复制

使用代理轮换服务

ScraperAPI 等服务可以为您处理代理轮换。您通常只需要更新他们提供的代理 URL 并管理 URL 字典，如下所示：

proxies = {
    'http': 'http://your_service_proxy_url',
    'https': 'https://your_service_proxy_url',
}

response = requests.get('https://httpbin.org/ip', proxies=proxies)

登录后复制