本人快大二了,自习了Python,语法基本会。想学下爬虫,但是感觉这涉及到好多知识啊,有没有过来人总结下都有什么知识,或者Python爬虫该怎么学?
温故而知新,可以为师矣。 博客:www.ouyangke.com
爬虫学习要从需求学习,你看网上那么多初级爬虫都是爬些什么段子,美女图什么的,三天就能搞定这些简单的爬虫。
但是深入的话就是很难的,涉及到的方面也很多。
入门不是什么难事,可以看下这个--如何学习Python爬虫[入门篇] https://zhuanlan.zhihu.com/p/...
原理上就是http请求,再多一点就是session和cookie,再多就是验证码识别。工具上就是请求工具可以用urllib2,更好是request库,请求过来需要解析,那就是beautifulsoup。
Python 基础教程 | 菜鸟教程 http://www.runoob.com/python/...
Beautiful Soup 4.2.0 文档 — Beautiful Soup 4.2.0 documentation https://www.crummy.com/softwa...
爬虫性能:NodeJs VS Python - QueenKing - SegmentFault /a/11...
用KNN来进行验证码识别 - QueenKing - SegmentFault /a/11...
可以参考 Python-Scrapy 爬虫框架,这有中文手册。
爬虫学习要从需求学习,你看网上那么多初级爬虫都是爬些什么段子,美女图什么的,三天就能搞定这些简单的爬虫。
但是深入的话就是很难的,涉及到的方面也很多。
入门不是什么难事,可以看下这个--
如何学习Python爬虫[入门篇] https://zhuanlan.zhihu.com/p/...
原理上就是http请求,再多一点就是session和cookie,再多就是验证码识别。
工具上就是请求工具可以用urllib2,更好是request库,请求过来需要解析,那就是beautifulsoup。
Python 基础教程 | 菜鸟教程 http://www.runoob.com/python/...
Beautiful Soup 4.2.0 文档 — Beautiful Soup 4.2.0 documentation https://www.crummy.com/softwa...
爬虫性能:NodeJs VS Python - QueenKing - SegmentFault /a/11...
用KNN来进行验证码识别 - QueenKing - SegmentFault /a/11...
可以参考 Python-Scrapy 爬虫框架,这有中文手册。