RSS與爬蟲，如何蒐集資料詳解

摘要：資料的價值被挖掘出來之前，先要透過收集、儲存、分析計算等過程，獲得全面、準確的資料是資料價值挖掘的基礎。本期CSDN雲端運算俱樂部「大數據故事」將從最常見的資料蒐集方式說起－RSS和搜尋引擎爬蟲。

12月30日，CSDN雲端運算俱樂部活動在3W咖啡舉行，活動主題是「RSS與爬蟲：大數據的故事－從如何蒐集資料開始」。資料的價值被挖掘出來之前，先透過收集、儲存、分析計算等過程，獲得全面、準確的資料是資料價值挖掘的基礎。也許當下數據並不能為企業或組織帶來實際價值，但身為有遠見的決策者應該意識到，應儘早收集、保存重要數據，數據就是財富。本期「大數據故事」將從最常見的資料蒐集方式說起－RSS和搜尋引擎爬蟲。

活動現場座無虛席

首先，北京萬方軟體股份有限公司圖書館事業部總經理崔克俊分享的主題是「大規模進行RSS聚合和網站下載在科學研究中的初步應用」。崔克俊在圖書館、情報產業從業12年，有豐富的資料蒐集經驗，他主要分享了資訊聚合的一種重要方式RSS及其實現技術。

RSS（Really Simple Syndication）是一種訊息來源格式規範，用於聚合經常發布更新資料的網站，例如部落格文章、新聞、音訊或影片的網摘。 RSS檔案包含了全文或是節錄的文字，再加上發文者所訂閱之網摘布資料和授權的元資料。

對某一產業密切相關的幾百個甚至幾千個RSS種子進行的聚合，將能快速、全面了解某一行的最新動態；對某一產業的的幾十個甚至幾百個網站進行完整的資料下載，並進行資料探勘，將能了解某一主題在該產業發展的來龍去脈。

北京萬方軟體股份有限公司圖書館事業部總經理崔克俊 

崔克俊以高能物理研究所為例，介紹了RSS在科研院所的應用。 高能物理資訊監測對象為全球高能物理同行機構：實驗室、產業學會、國際協會、各國主管科學研究政府機構、重點綜合性科學出版品、高能物理試驗計畫及實驗設施。監控的資訊類型為：新聞、論文、會議報告、分析評論、預印本、案例研究、多媒體、圖書、招募資訊等。

高能物理文獻資訊所採用最先進的開源內容管理系統 Drupal，開源搜尋技術 Apache Solr，以及Google員工開發的能即時訂閱新聞的 PubSubHubbub技術和Amazon的 OpenSearch，建立了一套高能量物理資訊監測系統，有別於傳統的RSS訂閱和推送，實現了幾乎即時的資訊抓取和任意關鍵字、任意類別、複合條件新聞的主動推送。

接下來，崔克俊分享了Drupal、Apache Solr、PubSubHubbub和OpenSearch等技術的使用心得。

接下來，宜搜科技搜尋部架構師爬蟲組負責人葉順平帶來了題為「網頁搜尋爬蟲時效性系統」的分享，包括時效性系統的主要目標、架構，以及各個子模組的設計方案。

 

宜搜科技搜尋部架構師爬蟲組負責人葉順平 

網頁爬蟲的幾個目標是覆蓋率高、死鏈率低和實效性好，爬蟲實效性系統的目標也差不多，主要是實現新網頁快速和全面的收錄。下圖為時效性系統的整體架構：

 

其中，上面第一個是RSS/sitemap一個子系統，接下來是網頁泛爬的調度系統Webmain scheduler ，然後是一個時效性模組Vertical Scheduler，最左側是DNS服務，抓取的時候，一般是幾十台甚至是幾百台的抓取集群，如果每一台都有防禦的話對DNS的壓力比較大，所以一般都有一個DNS的服務模組來做全域的服務。資料抓取完畢後，一般會做後續的資料處理。

涉及實效性的模組包括以下幾個：

RSS/sitemap系統：時效性系統利用RSS/sitemap的過程是挖掘種子，定時抓取，解析連結發佈時間，將較新的網頁優先抓取並索引。

泛爬系統：泛爬系統設計良好的話有助於提高時效性網頁的高覆蓋率，但泛爬需要盡可能縮短調度週期。

種子調度系統：主要是一個時效性的種子庫，這個種子庫裡面有一些資訊調度系統會不斷地掃描這個資料庫，然後發給抓取集群，這個集群抓取完會進行一些抽取鏈接的處理，接下來把這些依類別發出去，各個垂直頻道會取得到時效性的數據。

種子的挖掘：涉及到頁面解析或其它的一些挖掘手段，可以透過網站地圖，還有導航條來構建，還要基於頁面結構特徵和頁面變更規律。

種子的更新機制：記錄每個種子的抓取歷史，follow的連結訊息，定期根據種子的外鏈更新特徵，重新計算種子的更新周期。

抓取系統與JavaScript解析：使用瀏覽器進行抓取，建構一個基於瀏覽器抓取的抓取叢集。或採用開源項目，如Qtwebkit。

以上是RSS與爬蟲，如何蒐集資料詳解的詳細內容。更多資訊請關注PHP中文網其他相關文章！