ホームページ バックエンド開発 Python チュートリアル Python クローラーはプロキシを使用して Web ページをクロールします

Python クローラーはプロキシを使用して Web ページをクロールします

Nov 07, 2016 am 10:59 AM
python 爬虫類

プロキシの種類 (プロキシ): 透過プロキシ、匿名プロキシ、難読化プロキシ、および高匿名性プロキシ ここでは、Python クローラーによるプロキシの使用に関するいくつかの知識を示します。また、さまざまな問題に対処するのに便利なプロキシ プール クラスもあります。職場での複雑なクロールの問題。

urllib モジュールは proxy を使用します

urllib/urllib2 プロキシを使用するのはさらに面倒です。最初に ProxyHandler クラスを構築し、次にこのクラスを使用して Web ページを開くオープナー クラスを構築し、次にオープナーをインストールする必要があります。 request.

プロキシ形式 「http://127.0.0.1:80」です。アカウントのパスワードが必要な場合は、「http://user:password@127.0.0.1:80」です。 http://127.0.0.1:80"

1

2

3

4

5

6

7

8

# 创建一个ProxyHandler对象

proxy_support=urllib.request.ProxyHandler({'http':proxy})

# 创建一个opener对象

opener = urllib.request.build_opener(proxy_support)

# 给request装载opener

urllib.request.install_opener(opener)

# 打开一个url

r = urllib.request.urlopen('http://youtube.com',timeout = 500)

ログイン後にコピー

requests モジュールはプロキシを使用します

リクエストにプロキシを使用することは、urllib よりもはるかに簡単です... ここでは、単一のプロキシを例として取り上げます。それを複数回使用する場合、セッション クラスを使用して構築できます。

プロキシを使用する必要がある場合は、任意のリクエスト メソッドを渡すことができます。プロキシ パラメータを指定して、個別のリクエストを設定します:

1

2

3

4

5

6

7

import requests

proxies = {

  "http": "http://127.0.0.1:3128",

  "https": "http://127.0.0.1:2080",

}

r=requests.get("http://youtube.com", proxies=proxies)

print r.text

ログイン後にコピー

環境変数 HTTP_PROXY および HTTPS_PROXY を使用してプロキシを設定することもできます。

1

2

3

4

5

6

export HTTP_PROXY="http://127.0.0.1:3128"

export HTTPS_PROXY="http://127.0.0.1:2080"

python

>>> import requests

>>> r=requests.get("http://youtube.com")

>>> print r.text

ログイン後にコピー

プロキシで HTTP Basic 認証を使用する必要がある場合は、http://user:password@host/ を使用できます。 構文:

1

2

3

proxies = {

    "http": "http://user:pass@127.0.0.1:3128/",

}

ログイン後にコピー

Python のプロキシは非常に簡単に使用できます。最も重要なことは、次のようなプロキシを見つけることです。安定した信頼できるネットワーク。ご質問がございましたら、メッセージを残してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットな記事タグ

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Deepseek Xiaomiをダウンロードする方法 Deepseek Xiaomiをダウンロードする方法 Feb 19, 2025 pm 05:27 PM

Deepseek Xiaomiをダウンロードする方法

テンプレートのメリットとデメリットは何ですか? テンプレートのメリットとデメリットは何ですか? May 08, 2024 pm 03:51 PM

テンプレートのメリットとデメリットは何ですか?

Google AI、開発者向けに Gemini 1.5 Pro と Gemma 2 を発表 Google AI、開発者向けに Gemini 1.5 Pro と Gemma 2 を発表 Jul 01, 2024 am 07:22 AM

Google AI、開発者向けに Gemini 1.5 Pro と Gemma 2 を発表

わずか 250 ドルで、Hugging Face のテクニカル ディレクターが Llama 3 を段階的に微調整する方法を教えます わずか 250 ドルで、Hugging Face のテクニカル ディレクターが Llama 3 を段階的に微調整する方法を教えます May 06, 2024 pm 03:52 PM

わずか 250 ドルで、Hugging Face のテクニカル ディレクターが Llama 3 を段階的に微調整する方法を教えます

いくつかの .NET オープンソース AI および LLM 関連プロジェクト フレームワークを共有する いくつかの .NET オープンソース AI および LLM 関連プロジェクト フレームワークを共有する May 06, 2024 pm 04:43 PM

いくつかの .NET オープンソース AI および LLM 関連プロジェクト フレームワークを共有する

golang 関数のデバッグと分析の完全ガイド golang 関数のデバッグと分析の完全ガイド May 06, 2024 pm 02:00 PM

golang 関数のデバッグと分析の完全ガイド

どうやって彼にdeepseekに尋ねますか どうやって彼にdeepseekに尋ねますか Feb 19, 2025 pm 04:42 PM

どうやって彼にdeepseekに尋ねますか

評価関数の保存方法 評価関数の保存方法 May 07, 2024 am 01:09 AM

評価関数の保存方法

See all articles