ホームページ バックエンド開発 Python チュートリアル Python でプロキシを使用する方法

Python でプロキシを使用する方法

Nov 16, 2024 pm 12:00 PM

How to Use Proxies in Python

Python を少し使ったことがある方、特にデータ スクレイピングの場合、おそらく、取得したデータを取得しようとしているときにブロックされる状況に遭遇したことがあるでしょう。欲しい。このような状況では、プロキシの使用方法を知っておくと便利なスキルです。

この記事では、プロキシとは何か、プロキシがなぜ役立つのか、Python のライブラリ リクエストを使用してプロキシを使用する方法について説明します。

プロキシとは何ですか?

プロキシとは何かを定義することから始めましょう。

プロキシ サーバーは、コンピュータとインターネットの間の「仲介者」と考えることができます。 Web サイトにリクエストを送信すると、リクエストは最初にプロキシ サーバーを通過します。その後、プロキシはリクエストを Web サイトに転送し、レスポンスを受信して​​、それを送り返します。このプロセスでは、IP アドレスがマスクされ、リクエストが自分のデバイスではなくプロキシ サーバーから送信されているかのように見えます。

当然のことですが、これには多くの結果と用途があります。たとえば、厄介な IP 制限を回避したり、匿名性を維持したりするために使用できます。

Webスクレイピングでプロキシを使用する理由は何ですか?

それでは、なぜデータをスクレイピングするときにプロキシが役立つのでしょうか?そうですね、理由は前に説明しました。たとえば、これらを使用して一部の制限を回避できます。

したがって、Web スクレイピングの特定のケースでは、次の理由で役立ちます:

  • IP ブロックの回避: Web サイトは、単一の IP が短時間に多数のリクエストを行うなど、不審なアクティビティを監視することがよくあります。 プロキシを使用すると、リクエストがブロックされるのを避けるために複数の IP に分散できます。
  • 地理的制限の回避: 一部のコンテンツは特定の場所からのみアクセスでき、プロキシを使用すると、別の国からサイトにアクセスしているように見えます。
  • プライバシーの強化: プロキシは、実際の IP アドレスを隠すことでスクレイピング活動の匿名性を保つのに役立ちます。

リクエストを使用して Python でプロキシを使用する方法

リクエスト ライブラリは、Python で HTTP リクエストを作成するための一般的な選択肢であり、プロキシをリクエストに組み込むのは簡単です。

その方法を見てみましょう!

有効なプロキシの取得

まず最初に、有効なプロキシを実際に使用する前に取得する必要があります。これを行うには、2 つのオプションがあります:

  • 無料プロキシ: 無料プロキシ リストなどの Web サイトからプロキシを無料で取得できます。これらは簡単にアクセスできますが、信頼性が低かったり、速度が遅かったりする可能性があります。
  • 有料プロキシ: Bright Data や ScraperAPI などのサービスは、より優れたパフォーマンスとサポートを備えた信頼性の高いプロキシを提供しますが、料金を支払う必要があります。

リクエストでのプロキシの使用

プロキシのリストが完成したので、それらを使用し始めることができます。たとえば、次のような辞書を作成できます:

1

2

3

4

proxies = {

    'http': 'http://proxy_ip:proxy_port',

    'https': 'https://proxy_ip:proxy_port',

}

ログイン後にコピー

これで、プロキシを使用してリクエストを行うことができます:

1

2

3

4

5

6

7

8

import requests

 

proxies = {

    'http': 'http://your_proxy_ip:proxy_port',

    'https': 'https://your_proxy_ip:proxy_port',

}

 

response = requests.get('https://httpbin.org/ip', proxies=proxies)

ログイン後にコピー

リクエストの結果を確認するには、応答を印刷できます。

1

2

print(response.status_code)  # Should return 200 if successful

print(response.text)         # Prints the content of the response

ログイン後にコピー

すべてが順調に進んだ場合、応答にはあなたの IP アドレスではなく、プロキシ サーバーの IP アドレスが表示されるはずであることに注意してください。

リクエストを使用したプロキシ認証: ユーザー名とパスワード

プロキシで認証が​​必要な場合は、いくつかの方法で処理できます。

方法 1: プロキシ URL に資格情報を含める
プロキシで認証を管理するためにユーザー名とパスワードを含めるには、次のようにします。

1

2

3

4

proxies = {

    'http': 'http://username:password@proxy_ip:proxy_port',

    'https': 'https://username:password@proxy_ip:proxy_port',

}

ログイン後にコピー

方法 2: HTTPProxyAuth を使用する
あるいは、次のように HTTPProxyAuth クラスを使用して認証を処理することもできます。

1

2

3

4

5

6

7

8

9

10

from requests.auth import HTTPProxyAuth

 

proxies = {

    'http': 'http://proxy_ip:proxy_port',

    'https': 'https://proxy_ip:proxy_port',

}

 

auth = HTTPProxyAuth('username', 'password')

 

response = requests.get('https://httpbin.org/ip', proxies=proxies, auth=auth)

ログイン後にコピー

リクエストで回転プロキシを使用する方法

多数のリクエストを行う場合、単一のプロキシを使用するだけでは不十分な場合があります。この場合、循環プロキシを使用できます。これにより、プロキシの IP アドレスが定期的に、またはリクエストごとに変更されます。

このソリューションをテストしたい場合は、リストを使用してプロキシを手動でローテーションするか、プロキシ ローテーション サービスを使用するかの 2 つのオプションがあります。

両方のアプローチを見てみましょう!

プロキシのリストの使用

プロキシのリストがある場合は、次のように手動でローテーションできます。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

import random

 

proxies_list = [

    'http://proxy1_ip:port',

    'http://proxy2_ip:port',

    'http://proxy3_ip:port',

    # Add more proxies as needed

]

 

def get_random_proxy():

    proxy = random.choice(proxies_list)

    return {

        'http': proxy,

        'https': proxy,

    }

 

for i in range(10):

    proxy = get_random_proxy()

    response = requests.get('https://httpbin.org/ip', proxies=proxy)

    print(response.text)

ログイン後にコピー

プロキシ ローテーション サービスの使用

ScraperAPI のようなサービスは、プロキシのローテーションを処理します。通常は、提供されるプロキシ URL を更新し、次のように URL の辞書を管理するだけで済みます。

1

2

3

4

5

6

proxies = {

    'http': 'http://your_service_proxy_url',

    'https': 'https://your_service_proxy_url',

}

 

response = requests.get('https://httpbin.org/ip', proxies=proxies)

ログイン後にコピー

結論

Python でのプロキシの使用は、Web スクレイピング、テスト、地理的に制限されたコンテンツへのアクセスにとって貴重なテクニックです。これまで見てきたように、ライブラリ リクエストを使用すると、プロキシを HTTP リクエストに簡単に統合できます。

Web からデータをスクレイピングする際のいくつかのヒント:

  • Web サイトのポリシーを尊重します: Web サイトの robots.txt ファイルと利用規約を常に確認してください。
  • 例外を処理する: ネットワーク操作はさまざまな理由で失敗する可能性があるため、必ず例外を処理し、必要に応じて再試行を実装してください。
  • 資格情報を保護します: 認証されたプロキシを使用している場合は、資格情報を安全に保管し、スクリプトにハードコーディングしないでください。

コーディングを楽しんでください!

以上がPython でプロキシを使用する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットな記事タグ

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

HTMLを解析するために美しいスープを使用するにはどうすればよいですか? HTMLを解析するために美しいスープを使用するにはどうすればよいですか? Mar 10, 2025 pm 06:54 PM

HTMLを解析するために美しいスープを使用するにはどうすればよいですか?

Pythonでの画像フィルタリング Pythonでの画像フィルタリング Mar 03, 2025 am 09:44 AM

Pythonでの画像フィルタリング

Pythonでファイルをダウンロードする方法 Pythonでファイルをダウンロードする方法 Mar 01, 2025 am 10:03 AM

Pythonでファイルをダウンロードする方法

Pythonを使用してテキストファイルのZIPF配布を見つける方法 Pythonを使用してテキストファイルのZIPF配布を見つける方法 Mar 05, 2025 am 09:58 AM

Pythonを使用してテキストファイルのZIPF配布を見つける方法

フラスコへのイントロ:連絡先ページの追加 フラスコへのイントロ:連絡先ページの追加 Feb 28, 2025 am 10:03 AM

フラスコへのイントロ:連絡先ページの追加

Pythonを使用してPDFドキュメントの操作方法 Pythonを使用してPDFドキュメントの操作方法 Mar 02, 2025 am 09:54 AM

Pythonを使用してPDFドキュメントの操作方法

DjangoアプリケーションでRedisを使用してキャッシュする方法 DjangoアプリケーションでRedisを使用してキャッシュする方法 Mar 02, 2025 am 10:10 AM

DjangoアプリケーションでRedisを使用してキャッシュする方法

TensorflowまたはPytorchで深い学習を実行する方法は? TensorflowまたはPytorchで深い学習を実行する方法は? Mar 10, 2025 pm 06:52 PM

TensorflowまたはPytorchで深い学習を実行する方法は?

See all articles