クローラーの仕組み

1. クローラーのしくみ

ウェブクローラー、あるいはウェブスパイダーとは、とても鮮やかな名前です。インターネットを蜘蛛の巣に例えると、蜘蛛は巣の上を這っている蜘蛛です。 Web スパイダーは、リンク アドレスを通じて Web ページを検索します。 Web サイトの特定のページ (通常はホームページ) から開始して、Web ページのコンテンツを読み、Web ページ内の他のリンク アドレスを見つけ、次にこれらのリンク アドレスを通じて次の Web ページを見つけます。このサイクルは、この Web サイトのすべてのリンクが完了するまで続きます。すべての Web ページがクロールされるまで。インターネット全体が Web サイトとみなされる場合、Web スパイダーはこの原理を使用して、インターネット上のすべての Web ページをクロールできます。このように、Web クローラーはクローラー、Web ページを巡回するプログラムです。 Web クローラーの基本的な操作は、Web ページをクロールすることです。では、どうすれば希望通りのページを取得できるでしょうか? URLから始めましょう。

Web ページをクロールするプロセスは、実際には、読者が通常 IE ブラウザを使用して Web ページを閲覧する方法と同じです。たとえば、ブラウザのアドレス バーにアドレス www.baidu.com を入力します。 Web ページを開くプロセスは、実際にはブラウザが閲覧「クライアント」としてサーバーにリクエストを送信し、サーバー側のファイルをローカルで「取得」し、それらを解釈して表示するというものです。 HTML は、タグを使用してコンテンツをマークし、解析して区別するマークアップ言語です。ブラウザの機能は、取得した HTML コードを解析し、元のコードを直接表示される Web サイトのページに変換することです。 URLとは簡単に言えば、ブラウザに入力されたURLの文字列です。 URL を理解する前に、まず URI の概念を理解する必要があります。

URIとは何ですか？

HTMLドキュメント、画像、ビデオクリップ、プログラムなど、Web上で利用可能なすべてのリソースは、Universal Resource Identifier（URI）によって見つけられます。

URI は通常 3 つの部分で構成されます:

リソースにアクセスするための名前付けメカニズム、

• リソースを保存するためのホスト名、

• パスで表されるリソース自体の名前。

• これは、HTTP プロトコル経由でアクセスできるリソースです。

• ホスト上にあり、パス "/html/html40" 経由でアクセスされます

• 。

• 2. URL の理解と例

URL は URI のサブセットです。 Uniform Resource Locatorの略で、「統一リソースロケーター」と訳されます。平たく言えば、URL はインターネット上の情報リソースを記述する文字列であり、主にさまざまな WWW クライアント プログラムやサーバー プログラムで使用されます。 URL を使用すると、ファイル、サーバー アドレス、ディレクトリなどのさまざまな情報リソースを統一された形式で記述することができます。 URL の一般的な形式は次のとおりです (角括弧 [] が付いているものはオプションです):

　　protocol :// hostname[:port] / path / [;parameters][?query]#fragment

URL の形式は 3 つの部分で構成されます: 最初の部分はプロトコル (またはサービス メソッド) です。

• 2 番目の部分は、リソースが保存されているホストの IP アドレスです (ポート番号を含む場合もあります)。

• 3 番目の部分は、ディレクトリやファイル名などのホスト リソースの特定のアドレスです。

• 前半と後半は「://」記号で区切られ、後半と後半は「/」記号で区切られています。第 1 部と第 2 部は必須ですが、第 3 部は省略できる場合もあります。

3. URLとURIの単純な比較

URIはURLの下位レベルの抽象化であり、文字列テキストの標準です。つまり、URI は親クラスに属し、URL は URI のサブクラスに属します。 URL は URI のサブセットです。 URI の定義は次のとおりです。Uniform Resource Identifier。URL の定義は次のとおりです。Uniform Resource Locator。 2 つの違いは、URI がリクエスト サーバーへのパスを表し、そのようなリソースを定義することです。 URL には、リソースへのアクセス方法 (http://) も記載されています。

URL の小さな例を 2 つ見てみましょう。

1. HTTP プロトコルの URL の例: ハイパーテキスト転送プロトコル HTTP を使用して、ハイパーテキスト情報サービスのリソースを提供します。

ハイパーテキスト ファイル (ファイル タイプは .html) は、ディレクトリ /channel にある welcome.htm です。

これは中国人民日報のコンピューターです。

コンピューターのドメイン名は www.rol.cn.Net です。

ハイパーテキスト ファイル (ファイル タイプは .html) は、/talk ディレクトリ内の talk1.htm です。

赤いチャットルームのアドレスです。ここから赤いチャットルームの最初の部屋に入ることができます。

2．ファイル URL

URL を使用してファイルを表す場合、サーバー モードはファイルで表され、その後にホスト IP アドレス、ファイル アクセス パス (つまり、ディレクトリ)、ファイル名などの情報が続きます。

ディレクトリ名やファイル名は省略できる場合もありますが、「/」記号は省略できません。

クローラーの主な処理オブジェクトは URL であり、URL アドレスに基づいて必要なファイルのコンテンツを取得し、それをさらに処理します。

したがって、Web クローラーを理解するには、URL を正確に理解することが重要です。

以上がクローラーの仕組みの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。