Cara Python menggunakan Permintaan untuk meminta halaman web

Permintaan mewarisi semua ciri urllib2.

Permintaan menyokong kegigihan sambungan HTTP dan pengumpulan sambungan, menyokong penggunaan kuki untuk mengekalkan sesi, menyokong muat naik fail, menyokong penentuan pengekodan kandungan respons secara automatik dan menyokong URL antarabangsa dan pengekodan automatik data POST.

Kaedah pemasangan

Gunakan pip untuk memasang

$ pip install requests

Permintaan GET

Permintaan GET asas (parameter pengepala dan parameter parmas )

1 Permintaan GET yang paling asas boleh terus menggunakan kaedah get'

response = requests.get("http://www.baidu.com/")
 
# 也可以这么写
# response = requests.request("get", "http://www.baidu.com/")

Tambah pengepala dan parameter pertanyaan

Jika anda ingin menambah pengepala, anda boleh memasukkan parameter pengepala untuk menambah maklumat pengepala dalam pengepala permintaan.

Jika anda ingin menghantar parameter dalam url, anda boleh menggunakan parameter params.

import requests
 
kw = {'wd':'长城'}
 
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
 
# params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要urlencode()
response = requests.get("http://www.baidu.com/s?", params = kw, headers = headers)
 
# 查看响应内容，response.text 返回的是Unicode格式的数据
print (response.text)
 
# 查看响应内容，response.content返回的字节流数据
print (respones.content)
 
# 查看完整url地址
print (response.url)
 
# 查看响应头部字符编码
print (response.encoding)
 
# 查看响应码
print (response.status_code)

Jalankan keputusan

......

......

'http://www .baidu.com/s?wd=%E9%95%BF%E5%9F%8E'

'utf-8'

200

penggunaan response.text, Permintaan akan secara automatik menyahkod kandungan respons berdasarkan pengekodan teks respons HTTP dan kebanyakan set aksara Unicode boleh dinyahkod dengan lancar.

Apabila response.content digunakan, strim bait binari asal data respons pelayan dikembalikan, yang boleh digunakan untuk menyimpan fail binari seperti imej.

Kaedah POST

1. Permintaan POST asas

response = requests.post("http://www.baidu.com/",data = data)

2.body dengan parameter

formdata = {
    "type": "AUTO",
    "doctype": "json",
    "key": "www",
    "ue": "UTF-8",
}
url = "http://auto-installment/v1/loan-credit-check"
response = requests.post(url,data = data,headers=headers)
 
print(response.text)#显示返回结果
print(response.json())# 如果是json文件可以直接显示

Nota:

Aksara Cina yang bercelaru muncul dalam hasil cetakan, gunakan json.dupms(response, ensure_ascii=False)) untuk menyelesaikan masalah

Sesi

Umumnya gunakan Sesi Kekalkan parameter tertentu merentas permintaan, seperti log masuk sebelum anda boleh mengakses halaman lain

# 1. 创建session对象，可以保存Cookie值
session = requests.session()
 
# 2. 需要登录的用户名和密码
data = {"username": "mxxxx", "password": "1233444"}
 
# 3. 发送附带用户名和密码的请求，并获取登录后的Cookie值，保存在ssion里
session.post("https://www.jianshu.com/sign_in", data=data)
 
# 4. ssion包含用户登录后的Cookie值，可以直接访问那些登录后才可以访问的页面
response = session.get("https://www.jianshu.com/writer#/")

Ingat untuk mengelakkan perangkap

1. Apabila menggunakan permintaan untuk meminta antara muka , ralat berlaku, tetapi tidak ada masalah dengan antara muka itu sendiri. Ini kerana terdapat dua jenis parameter permintaan dalam antara muka: jenis mudah (biasanya kurang daripada 3) dan jenis objek kompleks.

Penyelesaian: Tentukan jenis kedua-dua parameter ini dalam pengepala

Jenis mudah: headers={"Content-Type": "application/x-www-form-urlencoded"}

Jenis objek kompleks: headers={"Content-Type":application/json}

2. Sesetengah permintaan HTTPS mempunyai pengesahan sijil SSL

Penyelesaian: respons = requests.get("https://www.baidu.com/", verify=False)

Sambungan

1.requests Selepas permintaan gagal, Tambah mekanisme cuba semula (jika gagal, ia akan dicuba semula 3 kali)

request_retry = requests.adapatrs.HTTPAdapaters(max_retries=3）
session.mount('https://',request_retry)

2. Gunakan grequests untuk melaksanakan permintaan tak segerak

urls = [
    'http://www.url1.com',
    'http://www.url2.com',
    'http://www.url3.com',
    'http://www.url4.com',
    'http://www.url5.com',
]
resp = (grequests.get(u) for u in urls)
grequests.map(resp)

3. Kuki tersuai

Kami menggunakan tika Sesi untuk menyimpan kuki antara permintaan, tetapi terdapat beberapa kes khas di mana kuki tersuai diperlukan

Kami menggunakan tika Sesi untuk Simpan kuki antara permintaan, tetapi dalam beberapa kes khas, anda perlu menggunakan kuki tersuai

# 自定义cookies
cookie = {'guid':'5BF0FAB4-A7CF-463E-8C17-C1576fc7a9a8','uuid':'3ff5f4091f35a467'}
 
session.post('http://', cookies=cookie)

4 Kira masa yang dibelanjakan untuk permintaan API

session.get(url).elapsed.total_seconds()

5. . Tetapkan tamat masa permintaan

session.get(url, timeout=15)

6.

Atas ialah kandungan terperinci Cara Python menggunakan Permintaan untuk meminta halaman web. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!