Empire CMS での robots.txt ファイルの使用法を解決する 1 つのトリック

この記事の例では、Empire CMS での robots.txt ファイルの使用方法について説明します。皆さんの参考に共有してください。具体的な分析は次のとおりです:

Empire CMS での robots.txt ファイルの使用について説明する前に、robots.tx が何をするのか説明しましょう。

Robots プロトコル (別名: Robots プロトコル) robots.txt (クローラー プロトコル、クローラー ルール、ロボット プロトコルなど) は robots.txt であり、Web サイトは、ロボット プロトコルを通じてどのページがクロールできるか、どのページがクロールできないかを検索エンジンに伝えます。ロボット プロトコルは、国際的なインターネット コミュニティにおける共通の倫理規定であり、その目的は、Web サイトのデータと機密情報を保護し、ユーザーの個人情報とプライバシーが侵害されないようにすることです。これはコマンドではないため、検索エンジンは意識的にそれに従う必要があります。マルウェアなどの一部のウイルスは、ロボット プロトコルを無視して Web サイトのバックグラウンド データや個人情報を取得することがよくあります。

robots.txt ファイルは、Windows システムに付属のメモ帳などの一般的なテキスト エディタを使用して作成および編集できるテキスト ファイルです。 robots.txt はコマンドではなくプロトコルです。 robots.txt は、Web サイトにアクセスしたときに検索エンジンが最初に調べるファイルです。 robots.txt ファイルは、サーバー上のどのファイルを表示できるかをスパイダーに伝えます。

「Empire cms チュートリアル 」を学習することをお勧めします

検索スパイダーがサイトにアクセスすると、まずサイトのルート ディレクトリに robots.txt が存在するかどうかを確認します。ファイルが存在する場合、検索ロボットはファイルの内容に基づいてアクセス範囲を決定します。ファイルが存在しない場合、すべての検索スパイダーは、パスワードで保護されていない Web サイト上のすべてのページにアクセスできます。 Baidu は、Web サイトに検索エンジンによるインデックスを作成したくないコンテンツが含まれている場合にのみ robots.txt ファイルを使用する必要があることを公式に推奨しています。検索エンジンにサイト上のすべてのコンテンツを含めたい場合は、robots.txt ファイルを作成しないでください。

Web サイトをホテルの部屋に例えると、robots.txt は、部屋のドアに所有者が掲示した「邪魔しないでください」または「清掃へようこそ」の標識です。このファイルは、訪問する検索エンジンに、どの部屋に入室および訪問できるのか、また、貴重品が保管されているため、または居住者や訪問者のプライバシーに関わる可能性があるため、どの部屋が検索エンジンに公開されていないのかを伝えます。しかし、robots.txt はコマンドでもファイアウォールでもありません。門番が泥棒などの悪意のある侵入者を阻止できないのと同じです。

Empire CMS のデフォルトの robots.txt は次のとおりです:

コードは次のとおりです:

#
# robots.txt for EmpireCMS
#
User-agent: * *允许所有搜索引擎抓取
Disallow: /d/ *禁止所有搜索引擎抓取D目录
Disallow: /e/class/ *禁止所有搜索引擎抓取/e/class/ 目录
Disallow: /e/data/ *禁止所有搜索引擎抓取/e/data/ 目录
Disallow: /e/enews/ *禁止所有搜索引擎抓取/e/enews/ 目录
Disallow: /e/update/ *禁止所有搜索引擎抓取/e/update/ 目录

この記事が、 Empire CMS Web サイト。

以上がEmpire CMS での robots.txt ファイルの使用法を解決する 1 つのトリックの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。