Python抓取網頁亂碼的原因及解決方法

這篇文章帶給大家的內容是關於Python抓取網頁亂碼的原因及解決方法，有一定的參考價值，有需要的朋友可以參考一下，希望對你有所幫助。

在用 python2 抓取網頁的時候，常常會遇到抓下來的內容顯示出來是亂碼。

發生這種情況的最大可能性就是編碼問題： 運行環境的字元編碼和網頁的字元編碼不一致。

例如，在 windows 的控制台（gbk）裡抓取了一個 utf-8 編碼的網站。或者，在 Mac / Linux 的終端機（utf-8）裡抓取了一個 gbk 編碼的網站。因為多數網站採用 utf-8 編碼，而不少人又是用 windows，所有這種情況相當常見。

如果你發現你抓下來的內容，看上去英文、數字、符號都是對的，但中間夾雜了一些亂碼，那基本上可以斷定是此情況。

解決這個問題的方法就是，把結果先以網頁的編碼方式 decode 解碼成 unicode，再輸出。若不確定網頁的編碼，可參考以下程式碼：

import urllib
req = urllib.urlopen("http://some.web.site")
info = req.info()
charset = info.getparam('charset')
content = req.read()
print content.decode(charset, 'ignore')

'ignore' 參數的作用是忽略掉無法解碼的字元。

不過這種方法並不總是有效。還有一種方式就是透過正規直接匹配網頁程式碼中的編碼設定：

<meta>

除了編碼問題造成亂碼之外，還有種常被忽略的情況，就是目標網頁啟用了gzip 壓縮 。壓縮後的網頁傳輸資料少了，開啟速度更快。在瀏覽器中開啟時，瀏覽器會根據網頁的 header 資訊自動做解壓縮。但直接用程式碼抓取則不會。因此很可能就被搞糊塗了，為什麼明明打開網頁位址是對的，但程式抓取就不行。連我自己也曾經被這個問題坑過。

這種情況的表現是抓取的內容幾乎全是亂碼，甚至無法顯示。

要判斷網頁是否啟用了壓縮並對其解壓，可參考以下程式碼：

import urllib
import gzip
from StringIO import StringIO
req = urllib.urlopen("http://some.web.site")
info = req.info()
encoding = info.getheader('Content-Encoding')
content = req.read()
if encoding == 'gzip':
    buf = StringIO(content)
    gf = gzip.GzipFile(fileobj=buf)
    content = gf.read()
print content

在我們教室的程式設計實例查天氣系列(點擊檢視) 中，這兩個問題困擾了相當多人。在此特別講解一下。

最後，還有個「利器」要介紹一下。如果一開始就用它，你甚至不知道還有上述兩個問題的存在。

這就是 requests 模組。

同樣抓取網頁，只需要：

import requests
print requests.get("http://some.web.site").text

沒有編碼問題，沒有壓縮問題。

This is why I love Python.

至於如何安裝requests 模組，請參考先前的文章：

如何安裝Python 的第三方模組- Crossin的程式設計教室-知乎專欄

pip install requests

#

以上是Python抓取網頁亂碼的原因及解決方法的詳細內容。更多資訊請關注PHP中文網其他相關文章！