Web クローラー - Python クローラーの概要

Question

私はもうすぐ 2 年生です。Python を独学で勉強しており、基本的な文法は知っています。クロールを学びたいのですが、かなり知識が必要な気がするのですが、経験者で知っていることをまとめたり、Pythonのクロールを学ぶ方法を教えていただける方はいらっしゃいますか？

Answer 1

クローラーの学習は要求に基づいて行う必要があります。インターネット上にはジョークや美しい女性の写真などを探しているジュニア クローラーがたくさんいます。これらの単純なクローラーは 3 日で入手できます。

しかし、深く掘り下げると、それは非常に難しく、多くの側面が関係しています。

始めるのは難しくありません、これを読むことができます--
Python クローラーの学習方法 [はじめに] https://zhuanlan.zhihu.com/p/...

Answer 2

原則として、これは http リクエストであり、もう少しがセッションと Cookie、そしてもう少しが検証コードの認識です。
ツールに関しては、リクエスト ツールは urllib2 を使用できますが、リクエストが届いて解析する必要がある場合は、リクエスト ライブラリを使用できます。

Python 基本チュートリアル | 初心者向けチュートリアル http://www.runoob.com/python/...

Beautiful Soup 4.2.0 ドキュメント — Beautiful Soup 4.2.0 ドキュメント https://www.crummy.com/softwa...

クローラーのパフォーマンス: NodeJs VS Python - QueenKing - SegmentFault /a/11...

検証コード認識に KNN を使用する - QueenKing - SegmentFault /a/11...

Answer 3

中国語のマニュアルがある Python-Scrapy クローラー フレームワークを参照できます。