本人快大二了,自習了Python,文法基本上會。想學下爬蟲,但是感覺這牽涉到好多知識啊,有沒有過來人總結下都有什麼知識,或者Python爬蟲該怎麼學?
温故而知新,可以为师矣。 博客:www.ouyangke.com
爬蟲學習要從需求學習,你看網路上那麼多初級爬蟲都是爬些什麼段子,美女圖什麼的,三天就能搞定這些簡單的爬蟲。
但是深入的話就是很難的,牽涉到的方面也很多。
入門不是什麼難事,可以看下這個--如何學習Python爬蟲[入門篇] https://zhuanlan.zhihu.com/p/...
原理上就是http請求,再多一點就是session和cookie,再多就是驗證碼識別。 工具上就是請求工具可以用urllib2,更好是request函式庫,請求過來要解析,那就是beautifulsoup。
Python 基礎教學 | 菜鳥教學 http://www.runoob.com/python/...
Beautiful Soup 4.2.0 文件 — Beautiful Soup 4.2.0 documentation https://www.crummy.com/softwa...
爬蟲效能:NodeJs VS Python - QueenKing - SegmentFault /a/11...
用KNN來進行驗證碼識別 - QueenKing - SegmentFault /a/11...
可以參考 Python-Scrapy 爬蟲框架,這有中文手冊。
爬蟲學習要從需求學習,你看網路上那麼多初級爬蟲都是爬些什麼段子,美女圖什麼的,三天就能搞定這些簡單的爬蟲。
但是深入的話就是很難的,牽涉到的方面也很多。
入門不是什麼難事,可以看下這個--
如何學習Python爬蟲[入門篇] https://zhuanlan.zhihu.com/p/...
原理上就是http請求,再多一點就是session和cookie,再多就是驗證碼識別。
工具上就是請求工具可以用urllib2,更好是request函式庫,請求過來要解析,那就是beautifulsoup。
Python 基礎教學 | 菜鳥教學 http://www.runoob.com/python/...
Beautiful Soup 4.2.0 文件 — Beautiful Soup 4.2.0 documentation https://www.crummy.com/softwa...
爬蟲效能:NodeJs VS Python - QueenKing - SegmentFault /a/11...
用KNN來進行驗證碼識別 - QueenKing - SegmentFault /a/11...
可以參考 Python-Scrapy 爬蟲框架,這有中文手冊。