請問如何更快速有效的爬網站？

大家好，其實我是門外漢，我上學的時候，玩過大話西遊，QQ幻想，後來洛奇，學了一點按鍵精靈（一種和vb差不多的程式語言），輔助我玩遊戲來著。這是我的程式設計基礎。

要是我爬別人的網站，就會先把需要爬的url放在TXT，或是Excel檔案裡。

用按鍵精靈開啟瀏覽器，模擬手動（快速鍵或滑鼠點選）輸入TXT或Excel的網址。

然後模擬手動全選，然後用 處理字串函數，mid，right，left，len，instr 這些提取所需的字串。

然後儲存到Excel，或是 txt 。

這樣做其實很費機器，CPU使用很高，網路速度佔用也很高。因為要載入很多不需要的圖片，如圖片，flash，mpg檔等。
而且常常出錯，可能是excel出錯，也可能是腳本出錯，很多時候是瀏覽器出錯。

請問大家，你們是怎麼做的呢？

我目前會php，MySQL，JavaScript，jQuery，ajax 等程式語言。對json，xml，html 的數據，也都了解了。

希望大家結合我會的，當然以方便為主，有更方便的也可以告訴一下。

另外對於瀏覽器的調試訊息，也就是f12的面板，我就會看js的輸出。

只要有思路，歡迎大家回答，我起點低，基本上是個回答都對我有幫助，謝謝了!