网页爬虫 - python爬虫案例

Question

请问大家能不能给我一点提点，我想要知道有没有 简单 一点的 爬虫 案例可以让我摸索学习

---

目前已知的爬虫工具有:

1. Beautiful Soup

2. Scrapy

3. cola

4. pyspider

5. PyQuery

6. grab

Answer 1

你如果真的沒有概念，以下有一些資訊給你參考，不過重點還是你要去看...

首先是什麼是 網路爬蟲(web crawler):

1. 可以簡單的先看一下 wiki-網路爬蟲

2. 再來這個網站: 大數學堂 有一些簡單的教學(還有視頻)，相信是非常適合初學者的，你可以從 什麼是網路爬蟲 這篇開始

接著是 入門教學:

1. 其實有個很簡單的方法，挑一個爬蟲工具去讀文檔就好，如果你沒什麼方向，你可以選擇看看Beautiful Soup 中文文檔，他是中文版的，也不算太複雜，花點時間就可以整個看完。

2. 剛 大數學堂 有一系列的入門教學 和 實戰教學，我覺得應該也是值得參考的，下面列出入門課程的前幾篇:

   1. 開始使用Python撰寫網路爬蟲 ( Crawler )

   2. 如何安裝 Jupyter (Ipython Notebook)

   3. Jupyter 操作入門 (1)

   4. 如何使用GET 抓取網頁內容?

   5. 如何使用POST 抓取網頁內容?

   6. 如何使用Python 套件: BeautifulSoup4 剖析網頁內容?

   7. 如何使用Python 的requests 及BeautifulSoup4 完成淘寶爬蟲?

再來是了解有那些 工具 和 爬蟲框架:

1. 這個地方整理得很完整: Python 爬蟲的工具列表附Github程式碼下載連結

2. 這個 blog 也有滿滿教學的

關於爬蟲工具和框架的討論可以參考這篇 知乎: 用Python寫爬蟲，用什麼方式、框架比較好？

---

我覺得網路上的資源很多，你都可以試試看，萬事起頭難，加油囉!