検索エンジンのコア技術 (PHP プログラミングのアイデア) --[1]-php手册-php.cn

検索エンジンのコア技術 (PHP プログラミングのアイデア) --[1]

WBOY

リリース： 2016-06-13 12:46:48

オリジナル

897 人が閲覧しました

Web 検索エンジンについて考えるとき、ほとんどの人は Yahoo を思い浮かべます。実際、Yahoo はインターネット検索の時代を築きました。しかし、Yahoo が現在ウェブ検索に使用しているテクノロジーは、同社が元々開発したものではありません。 2000 年 8 月、Yahoo はスタンフォード大学の学生によって設立されたベンチャー企業である Google (www.google.com) のテクノロジーを採用しました。その理由は非常に単純です。Google の検索エンジンは、Yahoo が以前に使用していた技術よりも、より速く、より正確に必要な情報を検索できるからです。

強力で効率的な検索エンジンやデータベースを短期間に自社で設計・開発することは、技術的にも資金的にもおそらく不可能でしょう。しかし、Yahoo は他人の技術を利用しているのですから、他人の既成のものを利用することもできるでしょうか。検索エンジンのウェブサイトについてはどうでしょうか?

プログラミングのアイデアを分析する

これは想像できます。クエリをシミュレートし、対応する形式で検索エンジンの Web サイトに検索コマンドを発行し、検索結果を返し、結果の HTML コードを分析し、冗長な文字とコードを取り除き、最後にそれらを私たちのウェブサイトのページ内で必要な形式。

このように、問題の鍵となるのは、正確な情報 (検索がより意味のあるものになるように)、高速 (検索結果を分析して表示するために余分な時間が必要なため)、および新世代の検索エンジン Google のさまざまな優れた機能により、検索結果が簡潔 (利便性が高い) (HTML ソースコードの分析とストリッピング) になっています。ここでは、PHP を使用して実装する方法を確認する例として選択します。 Google (www.google.com) のバックグラウンド検索、フロントデスクのパーソナライゼーションには、このプロセスが表示されます。

まずはGoogleのクエリコマンドの構造を見てみましょう。 www.google.com の Web サイトにアクセスし、クエリバーに「abcd」と入力してクエリボタンをクリックすると、ブラウザのアドレスバーが「http://www.google.com/search?q=」に変わることがわかります。 abcd&btnG=Google ��&hl=zh-CN&lr= とすると、Google がクエリパラメータを渡し、フォームの get メソッドを通じてクエリコマンドを送信していることがわかります。 PHP の file() 関数を使用して、このクエリプロセスをシミュレートできます。

File() 関数を理解する

構文: 配列ファイル(文字列ファイル名); 戻り値は配列であり、すべてのファイルが配列変数に読み込まれます。ここでのファイルはローカルまたはリモートにすることができ、リモートファイルは使用されるプロトコルを示す必要があります。例: result=file("http://www.google.com/search?q=a ... mp;hl=zh-CN&lr=")。このステートメントは、「abcd」という単語に対するクエリをシミュレートします。 Google は処理し、検索結果を行ごとの要素の形式で配列変数の結果に転送します。ここで読み取られるファイルはリモートであるため、プロトコル名「http://」が欠落することはできません。

ユーザーに検索文字を入力してもらいたい場合は、入力テキストボックスと送信ボタンを作成し、上記の検索文字「abcd」を変数
に置き換えます。 echo '

'

; if (isset(キーワード)) //送信後、PHPは変数kwywordsを生成します。これには、送信後に次のプログラムを実行する必要があります
{
urlencode(keywords); // ユーザー入力を URL エンコードします
result=file("http://www.google.com/search?q=". キーワード."&btnG=Google��&hl=zh-CN&lr="); //クエリステートメント内の変数を置換し、クエリ結果を配列変数 result
に保存します result_string=join(" ", result); // 配列 $result を文字列に結合し、各配列要素をスペースで貼り付けます
... //さらなる処理
}
?>

上記のプログラムは、ユーザー入力に基づいてクエリを実行し、返された結果を文字列変数 $result_string に合成することができます。入力された漢字、スペース、その他の特殊文字を正常にクエリできるように、urlencode() 関数を使用してユーザー入力を URL エンコードする必要があることに注意してください。これにより、Google のクエリコマンドが可能な限り現実的にシミュレートされ、検索が確実になります。結果は正確です。

Googleの分析

理解しやすくするために、本当に必要なのは検索結果のタイトルであると仮定しましょう。 URLや紹介文など。これはシンプルかつ典型的な要件です。このようにして、Google ロゴ、再検索用の入力ボックス、検索結果の説明などを含む Google 検索結果のヘッダーとフッターを削除し、残りの検索結果から元の HTML を削除するだけです。項目のフォーマットタグを希望のフォーマットに置き換えます。

これを行うには、Google 検索結果の HTML ソースコードを注意深く分析し、パターンを見つける必要があります。Google 検索結果のテキストが常にソースコードの最初の

タグと最後から 2 番目の

タグの間に含まれていることを見つけるのは難しくありません。この機能を使用すると、この方法で Google のヘッダーと脚注を削除できます。

以下のすべての手順は、上記の手順の「さらなる処理」で継続されます。

result_string = strstr( result_string, "

"); //最初の

から始まる result_string の後の文字列を取得して、Google ヘッダーを削除します
Position= strpos( result_string,"

テーブルシンボルの位置
result_string= substr( result_string,0,position);//最初の

表記号の前の文字列をインターセプトして脚注

を削除しますアプリケーションと実装

OK、これで便利な HTML ソースコードバックボーンができました。残りの問題は、このコンテンツを自律的に表示する方法です。これらの検索結果アイテムを再度分析して、各アイテム間に非常に規則的な使用法があることを確認してみましょう
つまり、それぞれを段落に分割します。この機能に従って、explode() 関数を使用して各エントリを切り取ります:

構文:explode(文字列区切り文字, 文字列文字列); 配列を返し、セパレータで区切られた各小さな文字列が配列に保存されます。

つまり:
result_array=explode("

", result_string) // 文字列 "

" を使用して結果を分割します

配列 result_array を取得します。各要素は検索結果エントリです。私たちがしなければならないのは、各エントリとその HTML 表示形式コードを調べて、必要に応じて置き換えるだけです。以下では、ループを使用して result_array 内の各エントリを処理します。
for( i=0; i {
... //各エントリを処理します

各エントリについて、いくつかの特徴を簡単に見つけることができます。各エントリはタイトル、要約、紹介、カテゴリ、URL などで構成されており、各部分は改行されています。つまり、
タグが含まれています。再度分割されます: (以下のハンドラーは上記のループ内に配置されます)
Every_item=explode("
", result_array[i]); このようにして、配列every_itemを取得します。ここで、every_item[0]はタイトル、every_item[1]とevery_item[2]は2行の概要、ヘッダーに次の内容が含まれている場合は、every_item[3]とevery_item[4]などとなります。 "紹介:"、"< font size=-1 color=#6f6f6f>カテゴリ:< /font> の文字は紹介またはカテゴリです (理由)一部の結果このエントリにはこの項目がありません)、ヘッダーに「< font color=green>」が含まれている場合、それは URL である必要があります。この種の比較には正規表現もよく使用されます (省略)。タイトルを含む場合など、置換したい場合は、$every_item[0] 自体にリンクがあります。このリンク属性を変更して、新しいウィンドウでリンクが開くようにします:
echo eregi_replace(' {
... //各エントリの最初の項目を除く各項目を処理します (最初の項目は表示されているタイトルです)
... //その他の形式の変更

このようにして、リンク属性が変更され、他の多くの表示形式の変更、削除、置換は、通常の置換 eregi_replace() を使用して完了できます。

ここまでで各検索項目の各項目を取得し、各項目の書式を任意に変更したり、美しい表を載せたりすることができました。ただし、優れたプログラムはさまざまな動作環境に適応できる必要があり、ここでも例外ではありません。実際、これを完全に実行するには、HTML の検索結果を除去するためのフレームワーク方法についてのみ説明しました。検索結果の総数やページ数などを表示します。また、「カテゴリ」や「紹介文」などのGoogle関連のコードを削除して、元のWebサイトを閲覧できないようにすることもできます。全て。ただし、HTML を解析することで、これらのコンテンツと要件を抽出することができます。今では誰もが自分で行うことができ、高度にパーソナライズされた検索エンジンを構築できます。