Python クローラーの動作原理の分析-Python チュートリアル-php.cn

Python クローラーの動作原理の分析

高洛峰

リリース： 2017-03-08 09:31:09

オリジナル

1506 人が閲覧しました

1. クローラーの仕組み

ウェブクローラー、またはウェブスパイダーは非常に鮮やかな名前です。インターネットを蜘蛛の巣に例えると、蜘蛛は巣の上を這っている蜘蛛です。 Web スパイダーは、リンクアドレスを通じて Web ページを検索します。 Web サイトの特定のページ (通常はホームページ) から開始して、Web ページのコンテンツを読み、Web ページ内の他のリンクアドレスを見つけ、次にこれらのリンクアドレスを通じて次の Web ページを見つけます。このサイクルは、この Web サイトのすべての Web ページが表示されるまで続きます。取得が完了するまでは含まれます。インターネット全体が Web サイトとみなされる場合、Web スパイダーはこの原理を使用して、インターネット上のすべての Web ページをクロールできます。このように、Web クローラーはクローラー、Web ページを巡回するプログラムです。 Web クローラーの基本的な操作は、Web ページをクロールすることです。では、どうすれば希望通りのページを取得できるでしょうか? URLから始めましょう。

Web ページをクロールするプロセスは、読者が通常 IE ブラウザを使用して Web ページを閲覧する場合と実際には同じです。たとえば、ブラウザのアドレスバーにアドレス www.baidu.com を入力します。 Web ページを開くプロセスは、実際にはブラウザが閲覧「クライアント」としてサーバーにリクエストを送信し、サーバー側のファイルをローカルで「取得」し、それらを解釈して表示するというものです。 HTML は、タグを使用してコンテンツをマークし、解析して区別するマークアップ言語です。ブラウザの機能は、取得した HTML コードを解析し、元のコードを直接表示される Web サイトのページに変換することです。

簡単に言うと、URL はブラウザに入力された文字列 http://www.baidu.com です。 URL を理解する前に、まず URI の概念を理解する必要があります。

URIとは何ですか?

HTML ドキュメント、画像、ビデオクリップ、プログラムなど、Web 上で利用可能なすべてのリソースは、Universal Resource Identifier (URI) によって検索されます。

URI は通常、次の 3 つの部分で構成されます:

リソースにアクセスするための命名メカニズム、

リソースが保存されているホスト名、

パスで表されるリソース自体の名前。

次の URI など: http://www.why.com.cn/myhtml/html1223/

これは、ホスト www.webmonkey.com にある

HTTP プロトコルを通じてアクセスできるリソースです。 .cn、

パス「/html/html40」を通じてアクセスします。

2. URL の理解と例

URL は URI のサブセットです。 Uniform Resource Locatorの略で、「統一リソースロケーター」と訳されます。平たく言えば、URL はインターネット上の情報リソースを記述する文字列であり、主にさまざまな WWW クライアントプログラムやサーバープログラムで使用されます。 URL を使用すると、ファイル、サーバーアドレス、ディレクトリなどのさまざまな情報リソースを統一された形式で記述することができます。 URL の一般的な形式は次のとおりです (角括弧 [] が付いているものはオプションです):

protocol :// hostname[:port] / path / [;parameters][?query]#fragment

URL の形式は次のようになります。 3 つの部分:

最初の部分は契約 (またはサービス方法) です。

2 番目の部分は、リソースが保存されているホストの IP アドレスです (ポート番号を含む場合もあります)。

3 番目の部分は、ディレクトリやファイル名などのホストリソースの特定のアドレスです。

前半と後半は「://」記号で区切られ、後半と後半は「/」記号で区切られています。第 1 部と第 2 部は必須ですが、第 3 部は省略できる場合もあります。

3. URL と URI の単純な比較

URI は、URL の下位レベルの抽象化であり、文字列テキストの標準です。つまり、URI は親クラスに属し、URL は URI のサブクラスに属します。 URL は URI のサブセットです。 URI の定義は次のとおりです。Uniform Resource Identifier。URL の定義は次のとおりです。Uniform Resource Locator。 2 つの違いは、URI がリクエストサーバーへのパスを表し、そのようなリソースを定義することです。 URL には、リソースへのアクセス方法 (http://) も記載されています。

URL の小さな例を 2 つ見てみましょう。

1. HTTP プロトコルの URL の例:

ハイパーテキスト転送プロトコル HTTP を使用して、ハイパーテキスト情報サービスのリソースを提供します。

例: http://www.peopledaily.com.cn/channel/welcome.htm

コンピューターのドメイン名は www.peopledaily.com.cn です。

ハイパーテキストファイル (ファイルタイプは .html) は、/channel ディレクトリ内の welcome.htm です。

これは中国人民日報のコンピューターです。

例: http://www.rol.cn.NET/talk/talk1.htm

コンピュータのドメイン名は www.rol.cn.Net です。

ハイパーテキストファイル (ファイルタイプは .html) は、/talk ディレクトリ内の talk1.htm です。

赤いチャットルームのアドレスです。ここから赤いチャットルームの最初の部屋に入ることができます。

2.ファイル URL