python爬蟲的工作原理分析

高洛峰
發布: 2017-03-08 09:31:09
原創
1506 人瀏覽過

1.爬蟲的工作原理

網路爬蟲,即Web Spider,是一個很形象的名字。把網路比喻成蜘蛛網,那麼Spider就是在網路上爬來爬去的蜘蛛。網路蜘蛛是透過網頁的連結位址來尋找網頁的。從網站某一個頁面(通常是首頁)開始,讀取網頁的內容,找到在網頁中的其它連結地址,然後透過這些連結地址尋找下一個網頁,這樣一直循環下去,直到把這個網站所有的網頁都抓取完為止。如果把整個網路當成一個網站,那麼網路蜘蛛就可以用這個原理把網路上所有的網頁都抓取下來。這樣看來,網路爬蟲就是一個爬行程序,一個抓取網頁的程式。網路爬蟲的基本操作是抓取網頁。那麼如何才能隨心所欲地獲得自己想要的頁面呢?先從URL開始。

抓取網頁的過程其實和讀者平常使用IE瀏覽器瀏覽網頁的道理是一樣的。比如說你在瀏覽器的網址列輸入www.baidu.com這個位址。打開網頁的過程其實就是瀏覽器作為一個瀏覽的“客戶端”,向伺服器端發送了 一次請求,把伺服器端的文件“抓”到本地,再進行解釋、展現。 HTML是一種標記語言,以標籤標記內容並加以解析和區分。瀏覽器的功能是將取得到的HTML程式碼進行解析,然後將原始的程式碼轉換成我們直接看到的網站頁面。

簡單的來講,URL就是在瀏覽器端輸入的http://www.baidu.com這個字串。在理解URL之前,首先要先理解URI的概念。

什麼是URI?

Web上每個可用的資源,如 HTML文件、圖片、影片片段、程式等都由一個通用資源標誌符(Universal Resource Identifier, URI)進行定位。

URI通常由三個部分組成:

存取資源的命名機制;

#存放資源的主機名稱;

資源本身的名稱,由路徑表示。

如下面的URI:http://www.why.com.cn/myhtml/html1223/

這是可以透過HTTP協定存取的資源,

#位於主機 www.webmonkey.com.cn上,

透過路徑「/html/html40」存取。 

2.  URL的瞭解與範例

URL是URI的子集。它是Uniform Resource Locator的縮寫,譯為「統一資源定位 符」。通俗地說,URL是Internet上描述資訊資源的字串,主要用在各種WWW客戶程式和伺服器程式上。採用URL可以用一種統一的格式來描述各種資訊資源,包括檔案、伺服器的位址和目錄等。 URL的一般格式為(帶方括號[]的為可選項):

protocol :// hostname[:port] / path / [;parameters][?query]#fragment

URL的格式由三個部分組成:

第一部分是協定(或稱為服務方式)。

第二部分是存有該資源的主機IP位址(有時也包含連接埠號碼)。

第三部分是主機資源的具體位址,如目錄和檔案名稱等。

第一部分和第二部分用「://」符號隔開,第二部分和第三部分用「/」符號隔開。第一部分和第二部分是不可缺少的,第三部分有時可以省略。

3、URL和URI簡單比較

URI屬於URL更低層次的抽象,一種字串文字標準。換句話說,URI屬於父類,而URL屬於URI的子類。 URL是URI的一個子集。 URI的定義是:統一資源識別碼;URL的定義是:統一資源定位符。二者的差別在於,URI表示請求伺服器的路徑,定義這麼一個資源。而URL同時說明要如何存取這個資源(http://)。

下面來看看兩個URL的小例子。

 1.HTTP協定的URL範例:

使用超級文字傳輸協定HTTP,提供超級文字資訊服務的資源。

範例:http://www.peopledaily.com.cn/channel/welcome.htm

其電腦網域為www.peopledaily.com.cn。

超級文字檔案(檔案類型為.html)是在目錄 /channel下的welcome.htm。

這是中國人民日報的一台計算機。

範例:http://www.rol.cn.NET/talk/talk1.htm

其電腦網域為www.rol.cn.Net。

超級文字檔案(檔案類型為.html)是在目錄/talk下的talk1.htm。

這是瑞得聊天室的地址,可由此進入瑞得聊天室的第1間。

2.檔案的URL

用URL表示檔案時,伺服器方式用file表示,後面要有主機IP位址、檔案的存取路 徑(即目錄)和檔案名稱等資訊。

有時可以省略目錄和檔名,但「/」符號不能省略。

範例:file://ftp.yoyodyne.com/pub/files/foobar.txt

上面這個URL代表存放在主機ftp.yoyodyne.com上的pub/files/目錄下的一個文件,文件名是foobar.txt。

範例:file://ftp.yoyodyne.com/pub

代表主機ftp.yoyodyne.com上的目錄/pub。

範例:file://ftp.yoyodyne.com/

代表主機ftp.yoyodyne.com的根目錄。

爬蟲最主要的處理對象就是URL,它根據URL位址取得所需的文件內容,然後對它 進行進一步的處理。

因此,準確地理解URL對理解網路爬蟲至關重要。

以上就是本文的全部內容,希望本文的內容對大家的學習或工作能帶來一定的幫助,同時也希望多多支持PHP中文網!

更多python爬蟲的工作原理分析相關文章請關注PHP中文網!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板