网页爬虫 - Python爬虫入门知识

Question

本人快大二了，自习了Python，语法基本会。想学下爬虫，但是感觉这涉及到好多知识啊，有没有过来人总结下都有什么知识，或者Python爬虫该怎么学？

Answer 1

爬虫学习要从需求学习，你看网上那么多初级爬虫都是爬些什么段子，美女图什么的，三天就能搞定这些简单的爬虫。

但是深入的话就是很难的，涉及到的方面也很多。

入门不是什么难事，可以看下这个--
如何学习Python爬虫[入门篇] https://zhuanlan.zhihu.com/p/...

Answer 2

原理上就是http请求,再多一点就是session和cookie，再多就是验证码识别。
工具上就是请求工具可以用urllib2，更好是request库，请求过来需要解析，那就是beautifulsoup。

Python 基础教程 | 菜鸟教程 http://www.runoob.com/python/...

Beautiful Soup 4.2.0 文档 — Beautiful Soup 4.2.0 documentation https://www.crummy.com/softwa...

爬虫性能：NodeJs VS Python - QueenKing - SegmentFault /a/11...

用KNN来进行验证码识别 - QueenKing - SegmentFault /a/11...

Answer 3

可以参考 Python-Scrapy 爬虫框架，这有中文手册。