如何使用PHP實現正規抓取頁面中的網址

墨辰丷
發布: 2023-03-29 09:06:02
原創
1769 人瀏覽過

從頁面中抓取頁面中所有的鏈接,當然使用PHP正規表示式是最方便的辦法。要寫出正規表達式,就要先總結出模式,那麼頁面中的連結會有幾種形式呢?下面一起來看看。

前言

連結也就是超級鏈接,是從一個元素(文字、圖片、影片等)連結到另一個元素(文字、圖片、影片等) 。網頁中的鏈接一般有三種,一種是絕對URL超鏈接,也就是一個頁面的完整路徑;另一種是相對URL超鏈接,一般都鏈接到同一網站的其他頁面;還有一種是頁面內的超鏈接,這種一般鏈接到同一頁內的其他位置。

搞清楚了鏈接的種類,就知道要抓鏈接,主要還是絕對URL超鏈接和相對URL超鏈接。要寫出正確的正規表示式,就必須了解我們所尋找的物件的模式。

先說絕對鏈接,也叫作URL(Uniform Resource Locator),標示了網路上的唯一資源。 URL的結構包含三個部分:協定、伺服器名稱、路徑和檔案名稱

協定是告訴瀏覽器如何處理將要開啟檔案的標識,最常見的就是 http 協定。本文也只考慮HTTP協議,至於其他的 https、ftp、mailto、telnet協定等,依需求也可以新增。

伺服器名稱是告訴瀏覽器如何到達這個伺服器的方式,通常是網域名稱或IP位址,有時也會包含連接埠號碼(預設為80)。 FTP協定中,也可以包含使用者名稱和密碼,本文就不考慮了。

路徑和檔案名,一般以 / 分割,指出到達這個檔案的路徑和檔案本身的名稱。如果沒有具體的檔案名,則存取這個資料夾下的預設檔案(可以在伺服器端設定)。

那麼現在清楚了,要抓取的絕對連結的典型形式可以概括為

<span style="color: #000000">#http://www.xxx.com/xxx/yyy/zzz .html</span>

每個部分可以使用的字元範圍有明確的規範,具體可以參考RFC1738。那麼正規表示式就可以寫出來了。

/(http|https):\/\/([\w\d\-_]+[\.\w\d\-_]+)[:\d+]?([\/]?[\w\/\.]+)/i
登入後複製

解釋如下:

##(http|https)第一個括號內匹配的是協定部分。

([\w\d\-_] [\.\w\d\-_] )第二個括號內符合的是網域部分。

([\/]?[\w\/\.] )第三個括號內符合的是相對路徑。

寫到這個時候,基本上大部分的網址都能匹配到了,但是對於URL中帶有參數的還不能抓取,這樣有可能造成再次訪問的時候頁面報錯。關於參數RFC1738規範中要求是用?來分割,後面帶上參數,但是現代的RIA應用有可能使用其他奇怪的形式來分割。

稍微修改一下,這樣就可以將查詢參數部分搜尋出來。這裡仍然沒有涵蓋全部的情況,例如URL中有中文、有空格及其他特殊字符的情況,但是基本上能夠滿足我的需求了,就沒有繼續深化。

/(http|ftp|https):\/\/([\w\d\-_]+[\.\w\d\-_]+)[:\d+]?([\/]?[\w\/\.\?=&;%@#\+,]+)/i
登入後複製

使用括號的好處是,在處理結果時,可以很容易的取得到協定、網域、相對路徑這些內容,方便後續的處理。

例如使用

preg_match_all() 匹配時,結果陣列索引0為全部結果、1為協定、2為網域、3為相對路徑

總結:以上就是這篇文章的全部內容,希望能對大家的學習有所幫助。

相關推薦:

PHP實作多字段模糊匹配查詢的方法

phpmailer實作綁定郵件信箱的方法

PHP實作自訂函式取得漢字首字母的方法

#

以上是如何使用PHP實現正規抓取頁面中的網址的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
作者最新文章
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!