Python ネットワーク プログラミングでの urllib2 モジュールの使用法の概要

1. 最も基本的なアプリケーション

リーリー

クライアントとサーバーは、リクエストとレスポンスを通じて通信します。クライアントは、まずサーバーにリクエストを送信し、次にサーバーから返されるレスポンスを受け取ります。

urllib2 はリクエスト クラスを提供します。これにより、ユーザーはリクエストを送信する前にリクエスト オブジェクトを構築し、urllib2.urlopen メソッドを通じてリクエストを送信できます

リーリー

上記の例で最初に使用されています

リーリー

リクエストオブジェクトをインスタンス化して、

を使用します

リーリー

このページを開いてみましょう。

Request オブジェクトをインスタンス化するときに URL が必要であり、いくつかのデフォルト パラメーターがあることに気付きました

データとヘッダーもベースでよく使用され、閲覧するためにログインが必要な一部の Web サイトでは、これら 2 つのパラメーターが必要になることがよくあります。

リーリー

この例は、Baidu にデータを送信するものですが、Baidu にアクセスする際に情報を投稿する必要はないため、エラー ページが返されます。ただし、投稿するとエラーが発生します。 Baidu は、対応する Web ページが見つからない場合、エラーを報告します。

もちろんこれはPOSTデータですが、上記のコードを少し変更してGETメソッドでも使用できます

Baidu は http://www.baidu.com/s?wd=XXX を通じてクエリを実行するため、辞書を URL コード化する必要があります {'wd':'xxx'}

リーリー

以下は、Cookie の使用を詳しく説明するために、Renren へのログインをシミュレートし、ホームページのコンテンツを表示する例です。以下は、必要な機能を実現するために、この例を変更します。

リーリー

cj が表示されると、ログインページにアクセスしたことになります。正常にログインしたかどうかは、http://www.renren.com/home にアクセスすると確認できます。

上記のコードには説明するポイントが2つあり、それを理解するのに時間がかかりました

リーリー

この文、なぜ utllib2 と urlopen を使用する代わりに opener オブジェクトを使用する必要があるのでしょうか? 例ではこのように記述されているだけでなく、実際には urllib2.urlopen を使用することもできます。これは、opener が urllib2.bulid_opener Created であるためですが、urllib2 にも属性を持たせたい場合は、構築後にインストールして使用したわけではなく、その属性やメソッドも持たなかったことがわかります。オープナーのメソッドと、最初に urllib2.install_opener( opener) を使用してこのオープナーを「インストール」できます。インストール後、urllib2 を使用して操作できます。

リーリー

同様に、urllib2 にもプロキシ関連のハンドルがあります。基本的な考え方はこれと似ています。

2. 例外処理

URLError 例外は、urlopen() が応答を処理できない場合に発生します。 HTTPError 例外は URLError のサブクラスであり、HTTP タイプの URL にアクセスした場合にのみ発生します。

1. URLエラー例外

URLError の一般的な理由は、ネットワーク接続がない (ターゲット サーバーへのルートがない)、およびアクセスされたターゲット サーバーが存在しないことです。この場合、例外オブジェクトには、reason 属性 ((エラー コード、エラー理由) のタプル) が含まれます。

リーリー

2.HTTPエラー

サーバーから返されるすべての HTTP 応答にはステータス コードがあります。その中には、サーバーが対応するリクエストを完了できないことを示すステータス コードもあり、デフォルト ハンドラーはそのようなステータス コードの一部を処理できます (返された応答がリダイレクトの場合、urllib2 はリダイレクトされたページから自動的に情報を取得します)。 urllib2 モジュールでは処理できないステータス コードがいくつかあるため、urlopen 関数によって HTTPError 例外が発生します (通常は 404/401)。

HTTPError 例外のインスタンスには、サーバーから返されたエラー ステータス コードを表す整数型の code 属性があります。 urllib2 モジュールのデフォルト ハンドラーはリダイレクトを処理でき (ステータス コードは 300 の範囲)、100 ～ 299 の範囲のステータス コードは成功を示します。したがって、HTTPError 例外を引き起こす可能性のあるステータス コードの範囲は 400 ～ 599 です。

エラーが発生すると、サーバーは HTTP エラー コードとエラー ページを返します。 HTTPError インスタンスをリターン ページとして使用できます。つまり、HTTPError インスタンスには code 属性だけでなく、read、geturl、info などのメソッドもあります。
リーリー


3. 概要

URLError と HTTPError をコードで処理したい場合は 2 つの方法があり、コードは次のとおりです:

リーリー

比較すると、2 番目の例外処理方法の方が優れています。