python菜鸟 想做一个简单的爬虫 求教程
PHP中文网
PHP中文网 2017-04-17 14:27:26
0
21
1384

python菜鸟 想做一个简单的爬虫 求教程 ps:一般公司做爬虫采集的话常用什么语言

PHP中文网
PHP中文网

认证0级讲师

全部回覆(21)
PHPzhong

Scrapy是比較好的選擇,相對比較簡單,這裡有入門教學

Peter_Zhu

可以先用一個爬蟲框架實現業務邏輯,如scrapy,然後根據自己的需求,慢慢的替換掉框架。最後,你會發現, 你自己實現了一個爬蟲框架

大家讲道理

PythonScrapy寫爬蟲非常棒,附上我寫的一個非常簡單的福利爬蟲

https://github.com/ZhangBohan/fun_crawler

小葫芦

抓取內容可以使用 urllib/urllib2/requests,推薦requests。
分析內容可以使用 BeautifulSoup,也可以使用正規或暴力的字串解析。

左手右手慢动作

http://cuiqingcai.com/1052.html

最近在學習Python爬蟲,感覺很有趣,真的讓生活可以方便很多。學習過程中我把一些學習的筆記總結下來,還記錄了一些自己實際寫的一些小爬蟲,在這裡跟大家一同分享,希望對Python爬蟲感興趣的童鞋有幫助,如果有機會期待與大家的交流。

一、Python入門

  1. Python爬蟲入門一之綜述

  2. Python爬蟲入門二之爬蟲基礎了解

  3. Python爬蟲入門三之Urllib庫的基本使用

  4. Python爬蟲入門四之Urllib庫的高階用法

  5. Python爬蟲入門五之URLError異常處理

  6. Python爬蟲入門六之Cookie的使用

  7. Python爬蟲入門七之正規表示式

二、Python實戰

  1. Python爬蟲實戰一之爬取糗事百科段子

  2. Python爬蟲實戰二之爬取*

  3. Python爬蟲實戰三之計算大學本學期績點

  4. Python爬蟲實戰四之抓取淘寶MM照片

  5. Python爬蟲實戰五之模擬登入淘寶並取得所有訂單

三、Python進階

  1. Python爬蟲進階一之爬蟲框架Scrapy安裝配置

目前暫時是這些文章,隨著學習的進行,會不斷更新噠,敬請期待~

希望對大家有幫助,謝謝!

轉載請註明:靜覓食 » Python爬蟲學習系列教學

小葫芦

如果你只是想要一隻可以工作的蜘蛛
http://segmentfault.com/blog/eric/1190000002543828

黄舟

https://github.com/binux/pyspider
強大的 WebUI,帶有腳本編輯器、任務監視器、專案管理器和結果檢視器

小葫芦

爬取Konachan上面的動漫圖片,這個是我剛學爬蟲的時候做的,入門看看還湊活

小葫芦

簡單的話可以用:取得網頁可以用beautifulsoup,正則,urllib2,來獲取
深入的話,可以看一些開源框架,比如Python的scrapy等等
也可以看看一些視頻教程,比如極客學院的
一句話,多練。 。 。

Peter_Zhu

這裡有個現有的例子,可以參考一下:
如何爬取大眾點評網路上的商家資訊(有栗子、附程式碼)

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板