請問如何更快速有效的爬網站?

WBOY
發布: 2016-08-31 08:41:07
原創
1349 人瀏覽過

大家好,其實我是門外漢,我上學的時候,玩過大話西遊,QQ幻想,後來洛奇,學了一點按鍵精靈(一種和vb差不多的程式語言),輔助我玩遊戲來著。這是我的程式設計基礎。

要是我爬別人的網站,就會先把需要爬的url放在TXT,或是Excel檔案裡。

用按鍵精靈開啟瀏覽器,模擬手動(快速鍵或滑鼠點選)輸入TXT或Excel的網址。

然後模擬手動全選,然後用 處理字串函數,mid,right,left,len,instr 這些提取所需的字串。

然後儲存到Excel,或是 txt 。

這樣做其實很費機器,CPU使用很高,網路速度佔用也很高。因為要載入很多不需要的圖片,如圖片,flash,mpg檔等。
而且常常出錯,可能是excel出錯,也可能是腳本出錯,很多時候是瀏覽器出錯。

請問大家,你們是怎麼做的呢?

我目前會php,MySQL,JavaScript,jQuery,ajax 等程式語言。對json,xml,html 的數據,也都了解了。

希望大家結合我會的,當然以方便為主,有更方便的也可以告訴一下。

另外對於瀏覽器的調試訊息,也就是f12的面板,我就會看js的輸出。

只要有思路,歡迎大家回答,我起點低,基本上是個回答都對我有幫助,謝謝了!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板