requests函式庫的基本使用
1. response.content和response.text的区别
response.content是编码后的byte类型(“str”数据类型),response.text是unicode类型。这两种方法的使用要视情况而定。注意:unicode -> str 是编码过程(encode()); str -> unicode 是解码过程(decode())。示例如下:
# --coding:utf-8-- # import requests response = requests.get("https://baidu.com/") print response.url print type(response.content) with open("C:\\Users\\Administrator\\Desktop\\content.html", "w") as f: f.write(response.content) print "content保存成功" print type(response.text) with open("C:\\Users\\Administrator\\Desktop\\text.html", "w") as f: # 返回url的编码方式 print response.encoding f.write(response.text.encode("ISO-8859-1")) print "text保存成功"
2. 发送get请求,直接调用“resquests.get" 就可以了。response的一些属性:response.text; response.content; response.url; response.encoding; response.status_code
# --coding:utf-8-- # import requests params = { "wd": "中国" } headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36" } response = requests.get("https://baidu.com/s", params=params, headers=headers) print response.url with open("C:\\Users\\Administrator\\Desktop\\get.html", "w") as f: f.write(response.content) print "保存成功"
3. 发送post请求:传入data信息。注意get请求传入的是params信息。示例如下:
# --coding:utf-8-- # import requests data = { "first": "true", "pn": "1", "wd": "python" } headers = { "Referer": "https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=", "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36" } response = requests.post("https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false", data=data, headers=headers) print response.encoding print type(response.content) with open("C:\\Users\\Administrator\\Desktop\\post.html", "w") as f: f.write(response.content) print "保存成功"
4. 使用代理。在get方法中增加proxy参数即可。示例代码如下:
# --coding:utf-8-- # import requests proxy = { "http": "124.42.7.103" } response = requests.get("http://httpbin.org/ip", proxies=proxy) print response.content
5. requests处理cookies信息。使用requests.Session()方法即可。示例代码如下:
# --coding:utf-8-- # import requests url = "http://www.renren.com/PLogin.do" # url = "http://www.renren.com/SysHome.do" data = {"email": "账号", "password": "密码"} headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36" } session = requests.Session() session.post(url, data=data, headers=headers) response = session.get("http://www.renren.com/543484094/profile") with open("C:\\Users\\Administrator\\Desktop\\Liwei.html", "w") as fp: fp.write(response.content) print "保存成功"
6. 处理不信任的SSL证书。与上面的代码相比,多了一个verify=False参数,为了处理SSL证书不受信用的问题。
示例代码如下:
response = session.get("http://www.renren.com/543484094/profile", verify=False)
以上就是关于requests库的基本使用。
本文讲解了requests库的基本使用 ,更多相关内容请关注php中文网。
相关推荐:
以上是requests函式庫的基本使用的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

curl和Pythonrequests都是發送HTTP請求的強大工具。雖然curl是一種命令列工具,可讓您直接從終端機發送請求,但Python的請求庫提供了一種更具程式化的方式來從Python程式碼發送請求。將curl轉換為Pythonrequestscurl指令的基本語法如下所示:curl[OPTIONS]URL將curl指令轉換為Python請求時,我們需要將選項和URL轉換為Python程式碼。這是一個範例curlPOST指令:curl-XPOSThttps://example.com/api

1.安裝requests函式庫因為學習過程使用的是Python語言,需要事先安裝Python,我安裝的是Python3.8,可以透過指令python--version查看自己安裝的Python版本,建議安裝Python3.X以上的版本。安裝好Python以後可以直接透過以下指令安裝requests函式庫。 pipinstallrequestsPs:可以切換到國內的pip源,例如阿里、豆瓣,速度快為了示範功能,我這裡使用nginx模擬了一個簡單網站。下載好了以後,直接執行根目錄下的nginx.exe程式就可

Requests繼承了urllib2的所有特性。 Requests支援HTTP連線保持和連線池,支援使用cookie保持會話,支援檔案上傳,支援自動決定回應內容的編碼,支援國際化的URL和POST資料自動編碼。安裝方式利用pip安裝$pipinstallrequestsGET請求基本GET請求(headers參數和parmas參數)1.最基本的GET請求可以直接用get方法'response=requests.get("http://www.baidu.com/"

python模擬瀏覽器發送post請求importrequests格式request.postrequest.post(url,data,json,kwargs)#post請求格式request.get(url,params,kwargs)#對比get請求發送post請求傳參分為表單( x-www-form-urlencoded)json(application/json)data參數支援字典格式和字串格式,字典格式用json.dumps()方法把data轉換為合法的json格式字串次方法需要

Request和BeautifulSoup是可以在線上下載任何檔案或PDF的Python庫。請求庫用於發送HTTP請求和接收回應。 BeautifulSoup函式庫用於解析回應中收到的HTML並取得可下載的pdf連結。在本文中,我們將了解如何在Python中使用Request和BeautifulSoup下載PDF。安裝相依性在Python中使用BeautifulSoup和Request函式庫之前,我們需要使用pip指令在系統中安裝這些函式庫。要安裝request以及BeautifulSoup和Request庫,

Requests是一個Python模組,可用來傳送各種HTTP請求。它是一個易於使用的庫,具有許多功能,從在URL中傳遞參數到發送自訂標頭和SSL驗證。在本教程中,您將學習如何使用該庫在Python中發送簡單的HTTP請求。您可以在Python版本2.6–2.7和3.3–3.6中使用請求。在繼續之前,您應該知道Requests是一個外部模組,因此在嘗試本教學中的範例之前必須先安裝它。您可以透過在終端機中執行以下命令來安裝它:pipinstallrequests安裝模組後,您可以使用下列命令匯入模

1.準備工作首先呢,我們要確保我們已經之前安裝requests庫,如果沒有安裝,請按照下面步驟按照庫。 pip安裝無論是Windows、Linux或Mac,都可以透過pip這個套件管理工具來安裝。在命令列下執行以下命令即可完成requests庫的安裝:pip3installrequests這是最簡單的安裝方式,推薦此種方法安裝。驗證安裝為了驗證庫是否已經安裝成功,可以在命令列下測試一下:importrequestsres=requests.get('https://www.baidu

一、簡介網路爬蟲的實現原理可以歸納為以下幾個步驟:發送HTTP請求:網路爬蟲透過向目標網站發送HTTP請求(通常為GET請求)來取得網頁內容。在Python中,可以使用requests庫發送HTTP請求。解析HTML:收到目標網站的回應後,爬蟲需要解析HTML內容以擷取有用資訊。 HTML是一種用於描述網頁結構的標記語言,它由一系列嵌套的標籤組成。爬蟲可以根據這些標籤和屬性定位和提取所需的資料。在Python中,可以使用BeautifulSoup、lxml等函式庫解析HTML。資料擷取:解析HTML後,
