ホームページ バックエンド開発 Python チュートリアル Requests ライブラリの高度な使い方の詳細な説明

Requests ライブラリの高度な使い方の詳細な説明

May 09, 2017 pm 03:14 PM
python

Python の標準ライブラリの urllib2 モジュールには、私たちが通常使用する関数のほとんどがすでに含まれていますが、その API は非常に使いにくいです。それはもはや今の時代、そして現代のインターネットには適していません。リクエストの誕生により、私たちはより良い選択肢を得ることができました。この記事では、Python でのサードパーティ ライブラリ Requests ライブラリの高度な使用法を紹介します。

1. Requests ライブラリのインストール

pip パッケージ (Python パッケージ 管理ツール、Baidu かどうかはわかりません) をインストールしている場合は、pip を使用してインストールします。または Python (x, y) や anaconda などの統合環境では、pip を直接使用して Python ライブラリをインストールできます。 Python(x,y)或者anaconda的话,就可以直接使用pip安装Python的库。

1

$ pip install requests

ログイン後にコピー

安装完成之后,下面来看一下基本的方法:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

#get请求方法

 >>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))

#打印get请求的状态码

 >>> r.status_code

200

#查看请求的数据类型,可以看到是json格式,utf-8编码

 >>> r.headers['content-type']

'application/json; charset=utf8'

 >>> r.encoding

'utf-8'

#打印请求到的内容

 >>> r.text

u'{"type":"User"...'

#输出json格式数据

 >>> r.json()

 {u'private_gists': 419, u'total_private_repos': 77, ...}

ログイン後にコピー

下面看一个小栗子:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

#小例子

import requests

 

r = requests.get('http://www.baidu.com')

print type(r)

print r.status_code

print r.encoding

print r.text

print r.cookies

'''请求了百度的网址,然后打印出了返回结果的类型,状态码,编码方式,Cookies等内容 输出:'''

<class 'requests.models.Response'>

200

UTF-8

<RequestsCookieJar[]>

ログイン後にコピー

二、http基本请求

requests库提供了http所有的基本请求方式。例如:

1

2

3

4

5

r = requests.post("http://httpbin.org/post")

r = requests.put("http://httpbin.org/put")

r = requests.delete("http://httpbin.org/delete")

r = requests.head("http://httpbin.org/get")

r = requests.options(http://httpbin.org/get)

ログイン後にコピー

基本GET请求

1

2

3

4

5

6

7

8

r = requests.get("http://httpbin.org/get")

#如果想要加参数,可以利用 params 参数:

import requests

payload = {'key1': 'value1', 'key2': 'value2'}

r = requests.get("http://httpbin.org/get", params=payload)

print r.url

 

#输出:http://httpbin.org/get?key2=value2&key1=value1

ログイン後にコピー

如果想请求JSON文件,可以利用 json() 方法解析,例如自己写一个JSON文件命名为a.json,内容如下:

1

2

3

4

5

6

7

8

9

10

11

12

13

["foo", "bar", {

"foo": "bar"

}]

#利用如下程序请求并解析:

import requests

r = requests.get("a.json")

print r.text

print r.json()

'''运行结果如下,其中一个是直接输出内容,另外一个方法是利用 json() 方法 解析,感受下它们的不同:'''

["foo", "bar", {

"foo": "bar"

}]

[u'foo', u'bar', {u'foo': u'bar'}]

ログイン後にコピー

如果想获取来自服务器的原始套接字响应,可以取得 r.raw 。 不过需要在初始请求中设置 stream=True

1

2

3

4

5

6

r = requests.get('https://github.com/timeline.json', stream=True)

r.raw

#输出

<requests.packages.urllib3.response.HTTPResponse object at 0x101194810>

r.raw.read(10)

'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'

ログイン後にコピー

这样就获取了网页原始套接字内容。

如果想添加 headers,可以传 headers 参数:

1

2

3

4

5

6

7

import requests

 

payload = {'key1': 'value1', 'key2': 'value2'}

headers = {'content-type': 'application/json'}

r = requests.get("http://httpbin.org/get", params=payload, headers=headers)

print r.url

#通过headers参数可以增加请求头中的headers信息

ログイン後にコピー

三、基本POST请求

对于 POST 请求来说,我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

import requests

 

payload = {'key1': 'value1', 'key2': 'value2'}

r = requests.post("http://httpbin.org/post", data=payload)

print r.text

#运行结果如下:

{

"args": {},

"data": "",

"files": {},

"form": {

"key1": "value1",

"key2": "value2"

},

"headers": {

"Accept": "*/*",

"Accept-Encoding": "gzip, deflate",

"Content-Length": "23",

"Content-Type": "application/x-www-form-urlencoded",

"Host": "http://httpbin.org",

"User-Agent": "python-requests/2.9.1"

},

"json": null,

"url": "http://httpbin.org/post"

}

ログイン後にコピー

可以看到参数传成功了,然后服务器返回了我们传的数据。

有时候我们需要传送的信息不是表单形式的,需要我们传JSON格式的数据过去,所以我们可以用 json.dumps()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

import json

import requests

 

url = 'http://httpbin.org/post'

payload = {'some': 'data'}

r = requests.post(url, data=json.dumps(payload))

print r.text

 

#运行结果:

{

"args": {},

"data": "{\"some\": \"data\"}",

"files": {},

"form": {},

"headers": {

"Accept": "*/*",

"Accept-Encoding": "gzip, deflate",

"Content-Length": "16",

"Host": "http://httpbin.org",

"User-Agent": "python-requests/2.9.1"

},

"json": {

"some": "data"

},

"url": "http://httpbin.org/post"

}

ログイン後にコピー

インストールが完了したら、基本的なメソッドを見てみましょう:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

#新建一个 test.txt 的文件,内容写上 Hello World!

import requests

 

url = 'http://httpbin.org/post'

files = {'file': open('test.txt', 'rb')}

r = requests.post(url, files=files)

print r.text

 

{

"args": {},

"data": "",

"files": {

"file": "Hello World!"

},

"form": {},

"headers": {

"Accept": "*/*",

"Accept-Encoding": "gzip, deflate",

"Content-Length": "156",

"Content-Type": "multipart/form-data; boundary=7d8eb5ff99a04c11bb3e862ce78d7000",

"Host": "http://httpbin.org",

"User-Agent": "python-requests/2.9.1"

},

"json": null,

"url": "http://httpbin.org/post"

}

ログイン後にコピー

小さな栗を見てみましょう:

1

2

with open('massive-body') as f:

requests.post('http://some.url/streamed', data=f)

ログイン後にコピー

2. http 基本リクエスト

リクエスト ライブラリはすべてを提供します。基本的な http リクエストメソッド。例:

1

2

3

4

5

6

import requests

 

url = 'Example Domain'

r = requests.get(url)

print r.cookies

print r.cookies['example_cookie_name']

ログイン後にコピー
基本的な GET リクエスト

1

2

3

4

5

6

7

8

import requests

 

url = 'http://httpbin.org/cookies'

cookies = dict(cookies_are='working')

r = requests.get(url, cookies=cookies)

print r.text

#输出:

'{"cookies": {"cookies_are": "working"}}'

ログイン後にコピー
JSON ファイルをリクエストする場合は、json() メソッドを使用して解析できます。たとえば、JSON ファイルを自分で作成し、名前を付けます。これは、次の内容の a.json です:

1

requests.get(‘Build software better, together', timeout=0.001)

ログイン後にコピー

サーバーから生のソケット応答を取得したい場合は、r.raw を取得できます。 ただし、最初のリクエストでは stream=True を設定する必要があります。

1

2

3

4

5

6

7

8

import requests

requests.get('http://httpbin.org/cookies/set/sessioncookie/123456789')

r = requests.get("http://httpbin.org/cookies")

print(r.text)

#结果是:

{

"cookies": {}

}

ログイン後にコピー
このようにして、Web ページの元のソケットのコンテンツが取得されます。

ヘッダーを追加したい場合は、headers パラメータを渡すことができます:

1

2

3

4

5

6

7

8

9

10

11

12

import requests

 

s = requests.Session()

s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')

r = s.get("http://httpbin.org/cookies")

print(r.text)

#在这里我们请求了两次,一次是设置 cookies,一次是获得 cookies

{

"cookies": {

"sessioncookie": "123456789"

}

}

ログイン後にコピー

3. 基本的な POST リクエスト

POST リクエストの場合、通常、いくつかのパラメータを追加する必要があります。次に、パラメータを渡す最も基本的な方法として、data パラメータを使用できます。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

import requests

 

s = requests.Session()

s.headers.update({'x-test': 'true'})

r = s.get('http://httpbin.org/headers', headers={'x-test2': 'true'})

print r.text

'''通过 s.headers.update 方法设置了 headers 的变量。然后我们又在请求中 设置了一个 headers,那么会出现什么结果?很简单,两个变量都传送过去了。 运行结果:'''

{

"headers": {

"Accept": "*/*",

"Accept-Encoding": "gzip, deflate",

"Host": "http://httpbin.org",

"User-Agent": "python-requests/2.9.1",

"X-Test": "true",

"X-Test2": "true"

}

}

ログイン後にコピー

パラメータが正常に渡され、サーバーが渡したデータを返したことがわかります。

送信する必要がある情報がフォームの形式ではない場合、データを JSON 形式で送信する必要があるため、json.dumps() メソッドを使用してフォーム データをシリアル化できます。 。

1

2

3

4

5

6

7

8

9

10

11

12

r = s.get('http://httpbin.org/headers', headers={'x-test': 'true'})

 

#它会覆盖掉全局的配置:

{

"headers": {

"Accept": "*/*",

"Accept-Encoding": "gzip, deflate",

"Host": "http://httpbin.org",

"User-Agent": "python-requests/2.9.1",

"X-Test": "true"

}

}

ログイン後にコピー
上記のメソッドを通じて、JSON 形式でデータを POST することができます ファイルをアップロードしたい場合は、file パラメーターを直接使用するだけです:

1

2

3

4

5

6

7

8

9

r = s.get('http://httpbin.org/headers', headers={'x-test': None})

{

"headers": {

"Accept": "*/*",

"Accept-Encoding": "gzip, deflate",

"Host": "http://httpbin.org",

"User-Agent": "python-requests/2.9.1"

}

}

ログイン後にコピー

このようにして、ファイルのアップロードが正常に完了しました。

リクエストはストリーミング アップロードをサポートしているため、最初にメモリに読み込まずに大きなデータ ストリームやファイルを送信できます。ストリーミング アップロードを使用するには、リクエスト本文にクラス ファイル

オブジェクト を指定するだけで済みます。これは非常に便利です:

1

2

3

4

5

6

<strong>import requests

 

r = requests.get(&#39;https://kyfw.12306.cn/otn/&#39;, verify=True)

print r.text

#结果:

requests.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:590)</strong>

ログイン後にコピー

4. Cookie

応答に Cookie が含まれている場合は、Cookie を使用できます。取得する

変数

:

1

2

3

4

import requests

 

r = requests.get(&#39;Build software better, together&#39;, verify=True)

print r.text

ログイン後にコピー

上記のプログラムは単なるサンプルであり、cookie 変数を使用してサイトの cookie を取得できます

さらに、cookie 変数を使用して cookie 情報をサーバーに送信することもできます:

1

2

3

4

import requests

 

r = requests.get(&#39;https://kyfw.12306.cn/otn/&#39;, verify=False)

print r.text

ログイン後にコピー
ログイン後にコピー

5. タイムアウト設定

タイムアウト変数を使用して、最大リクエスト時間を設定できます

1

2

3

4

5

6

7

8

9

10

import requests

 

proxies = {

&quot;https&quot;: &quot;http://41.118.132.69:4433&quot;

}

r = requests.post(&quot;http://httpbin.org/post&quot;, proxies=proxies)

print r.text

#也可以通过环境变量 HTTP_PROXY 和 HTTPS_PROXY 来配置代理

export HTTP_PROXY=&quot;http://10.10.1.10:3128&quot;

export HTTPS_PROXY=http://10.10.1.10:1080

ログイン後にコピー
ログイン後にコピー

注:

タイムアウトは接続プロセスに対してのみ有効であり、レスポンスボディ。

つまり、今回は要求された時間のみを制限します。返されるレスポンスに大量のコンテンツが含まれている場合でも、ダウンロードには時間がかかります。

6. セッションオブジェクト 🎜🎜🎜🎜🎜 上記のリクエストでは、各リクエストは実際には新しいリクエストを開始することと同じです。これは、異なるブラウザを使用して各リクエストを個別に開くことと同じです。つまり、同じ URL が要求された場合でも、セッションは参照されません。例: 🎜rrreee🎜 明らかに、これはセッション内ではないため、Cookie を取得できません。では、一部のサイトで永続的なセッションを維持する必要がある場合はどうすればよいでしょうか。ブラウザを使用して Taobao を閲覧するのと同じように、異なるタブ間を移動すると、実際には長期間のセッションが作成されます。 🎜🎜解決策は次のとおりです: 🎜rrreee🎜は Cookie を正常に取得できることがわかり、これによりセッションが確立されます。 🎜🎜セッションはグローバル変数なので、間違いなくグローバル設定に使用できます。 🎜rrreee🎜 get メソッドで渡されたヘッダーも x-test だったらどうなるでしょうか? 🎜rrreee🎜 グローバル設定に変数を入れたくない場合はどうすればよいですか?簡単です。「なし」に設定するだけです。 🎜rrreee🎜 以上がセッション session の基本的な使い方です。 🎜🎜🎜🎜 7. SSL 証明書の検証 🎜🎜🎜🎜🎜 今では https で始まる Web サイトをどこでも見ることができ、リクエストは Web ブラウザと同じように HTTPS リクエストの SSL 証明書を検証できます。特定のホストの SSL 証明書を確認するには、ver🎜if🎜y パラメーターを使用できます。12306 証明書は少し前まで無効ではなかったので、テストしてみましょう: 🎜rrreee🎜 github の証明書を試してみましょう: 🎜rrreee🎜 さて、通常のリクエスト、内容が多すぎるため、出力は貼り付けません。 🎜

如果我们想跳过刚才 12306 的证书验证,把 verify 设置为 False 即可:

1

2

3

4

import requests

 

r = requests.get(&#39;https://kyfw.12306.cn/otn/&#39;, verify=False)

print r.text

ログイン後にコピー
ログイン後にコピー

发现就可以正常请求了。在默认情况下 verify 是 True,所以如果需要的话,需要手动设置下这个变量。

八、代理

如果需要使用代理,你可以通过为任意请求方法提供 proxies 参数来配置单个请求。

1

2

3

4

5

6

7

8

9

10

import requests

 

proxies = {

&quot;https&quot;: &quot;http://41.118.132.69:4433&quot;

}

r = requests.post(&quot;http://httpbin.org/post&quot;, proxies=proxies)

print r.text

#也可以通过环境变量 HTTP_PROXY 和 HTTPS_PROXY 来配置代理

export HTTP_PROXY=&quot;http://10.10.1.10:3128&quot;

export HTTPS_PROXY=http://10.10.1.10:1080

ログイン後にコピー
ログイン後にコピー

总结

【相关推荐】

1. Python免费视频教程

2. Python基础入门教程

3. Python遇见数据采集视频教程

以上がRequests ライブラリの高度な使い方の詳細な説明の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットな記事タグ

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

テンプレートのメリットとデメリットは何ですか? テンプレートのメリットとデメリットは何ですか? May 08, 2024 pm 03:51 PM

テンプレートのメリットとデメリットは何ですか?

Deepseek Xiaomiをダウンロードする方法 Deepseek Xiaomiをダウンロードする方法 Feb 19, 2025 pm 05:27 PM

Deepseek Xiaomiをダウンロードする方法

Google AI、開発者向けに Gemini 1.5 Pro と Gemma 2 を発表 Google AI、開発者向けに Gemini 1.5 Pro と Gemma 2 を発表 Jul 01, 2024 am 07:22 AM

Google AI、開発者向けに Gemini 1.5 Pro と Gemma 2 を発表

わずか 250 ドルで、Hugging Face のテクニカル ディレクターが Llama 3 を段階的に微調整する方法を教えます わずか 250 ドルで、Hugging Face のテクニカル ディレクターが Llama 3 を段階的に微調整する方法を教えます May 06, 2024 pm 03:52 PM

わずか 250 ドルで、Hugging Face のテクニカル ディレクターが Llama 3 を段階的に微調整する方法を教えます

いくつかの .NET オープンソース AI および LLM 関連プロジェクト フレームワークを共有する いくつかの .NET オープンソース AI および LLM 関連プロジェクト フレームワークを共有する May 06, 2024 pm 04:43 PM

いくつかの .NET オープンソース AI および LLM 関連プロジェクト フレームワークを共有する

golang 関数のデバッグと分析の完全ガイド golang 関数のデバッグと分析の完全ガイド May 06, 2024 pm 02:00 PM

golang 関数のデバッグと分析の完全ガイド

どうやって彼にdeepseekに尋ねますか どうやって彼にdeepseekに尋ねますか Feb 19, 2025 pm 04:42 PM

どうやって彼にdeepseekに尋ねますか

評価関数の保存方法 評価関数の保存方法 May 07, 2024 am 01:09 AM

評価関数の保存方法

See all articles