一、網路爬蟲的定義
網路爬蟲，即Web Spider，是一個很形象的名字。
把網路比喻成蜘蛛網，那麼Spider就是在網路上爬來爬去的蜘蛛。
網路蜘蛛是透過網頁的連結位址來尋找網頁的。
從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它連結地址，
然後透過這些連結地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。
如果把整個網路當成一個網站，那麼網路蜘蛛就可以用這個原理把網路上所有的網頁都抓取下來。
這樣看來，網路爬蟲就是一個爬行程序，一個抓取網頁的程式。
網路爬蟲的基本操作就是抓取網頁。
那麼如何才能隨心所欲地獲得自己想要的頁面？
我們先從URL開始。
二、瀏覽網頁的過程
抓取網頁的過程其實和讀者平時使用IE瀏覽器瀏覽網頁的道理是一樣的。
比如說你在瀏覽器的網址列中輸入 www.baidu.com 這個位址。
打開網頁的過程其實就是瀏覽器作為一個瀏覽的“客戶端”，向伺服器端發送了 一次請求，把伺服器端的文件“抓”到本地，再進行解釋、展現。
HTML是一種標記語言，用標籤標記內容並加以解析和區分。
瀏覽器的功能是將獲取到的HTML程式碼進行解析，然後將原始的程式碼轉換成我們直接看到的網站頁面。
三、URI和URL的概念和舉例
簡單的來講，URL就是在瀏覽器端輸入的 http://www.baidu.com 這個字串。
在理解URL之前，首先要理解URI的概念。
什麼是URI？
Web上每個可用的資源，如 HTML文件、圖像、影片片段、程式等都由一個通用資源標誌符(Universal Resource Identifier， URI)進行定位。
URI通常由三個部分組成：
①訪問資源的命名機制；
②存放資源的主機名稱；
③資源本身 的名稱，由路徑表示。
如下面的URI：
http://www.why.com.cn/myhtml/html1223/
我們可以這樣解釋它：
①這是一個可以通過HTTP協議訪問的資源，
②位於主機www.webmonkey.com.cn上，
③透過路徑「/html/html40」存取。
四、URL的理解與舉例
URL是URI的子集。它是Uniform Resource Locator的縮寫，譯為「統一資源定位 符」。
通俗地說，URL是Internet上描述資訊資源的字串，主要用在各種WWW客戶程式和伺服器程式上。
採用URL可以用一種統一的格式來描述各種資訊資源，包括檔案、伺服器的位址和目錄等。
URL的一般格式為(帶方括號[]的為可選項):
protocol :// hostname[:port] / path / [;parameters][?query]#fragment
URL的格式由三個部分組成：
五、URL和URI簡單比較
URI屬於URL較低層次的抽象，一種字串文字標準。
下面來看看兩個URL的小例子。
1.HTTP協定的網址範例：
使用超級文字傳輸協定HTTP，提供超級文字資訊服務的資源。
例：http://www.peopledaily.com.cn/channel/welcome.htm
2．檔案的URL
用URL表示檔案時，伺服器方式用file表示，後面要有主機IP位址、檔案的存取路 徑(即目錄)和檔案名稱等資訊。有時可以省略目錄和檔案名，但「/」符號不能省略。
例：file://ftp.yoyodyne.com/pub/files/foobar.txt
上面這個URL代表存放在主機ftp.yoyodyne.com上的pub/files/目錄下的一個文件，文件名是foobar.txt。
例：file://ftp.yoyodyne.com/pub
代表主機ftp.yoyodyne.com上的目錄/pub。
例：file://ftp.yoyodyne.com/
代表主機ftp.yoyodyne.com的根目錄。
爬蟲最主要的處理對象就是URL，它根據URL位址取得所需的文件內容，然後對它 進行進一步的處理。
因此，準確地理解URL對理解網路爬蟲至關重要。
以上就是[Python]網路爬蟲（一）：抓取網頁的意義和URL基本構成的內容，更多相關內容請關注PHP中文網（www.php.cn）！
