検索エンジンによるウェブサイトの掲載を拒否する方法

検索エンジンによる Web サイトの組み込みを拒否する方法: head タグにコンテンツ [<meta name="robots" content="noarchive">] を追加して、検索エンジンが Web サイトをクロールしないようにすることができます。 Web ページのスナップショットを表示します。

新しい Web サイトを構築した後、検索エンジン スパイダーによってクロールされる Web サイトのコンテンツがよほど悪くない限り、検索エンジンは問題を解決する可能性が非常に高くなります。何らかの理由で検索エンジンに自分の Web サイトを含めたくない場合は、どうすればよいでしょうか?次の記事で説明します。

方法 1: robots.txt を設定する方法

検索エンジン スパイダーをブロックするために robots.txt を設定するために使用できます。では、robots.txt とは何ですか?

検索エンジンはスパイダー プログラムを使用して、インターネット上の Web ページに自動的にアクセスし、Web ページの情報を取得します。スパイダーが Web サイトにアクセスすると、まず Web サイトのルート ドメインに robots.txt というプレーン テキスト ファイルがあるかどうかを確認します。このファイルは、Web サイト上でスパイダーのクロール範囲を指定するために使用されます。 Web サイトに robots.txt を作成し、ファイル内で検索エンジンに含めたくない Web サイトの部分を宣言したり、検索エンジンに特定の部分のみを含めるよう指定したりできます。

robots.txt ファイルを使用する必要があるのは、Web サイトに検索エンジンによるインデックスを作成したくないコンテンツが含まれている場合のみであることに注意してください。検索エンジンにサイト上のすべてのコンテンツを含めたい場合は、robots.txt ファイルを作成しないでください。

robots.txt を使用して検索エンジンのスパイダーをブロックするにはどうすればよいですか?

検索エンジンはデフォルトで robots.txt プロトコルに準拠しています。robots.txt テキスト ファイルを作成し、Web サイトのルート ディレクトリに配置します。コードを次のように編集します:

User-agent: *
Disallow: /

上記のコードを通じて、検索エンジンがこのサイトをクロールしたり、このサイトを含めたりしないように指示できます。また、上記のコードを使用する場合は注意してください。これにより、すべての検索エンジンがサイトのどの部分にもアクセスできなくなります。

Baidu にサイト全体を含めることだけを禁止したい場合は、次のコードを編集できます:

User-agent: Baiduspider
Disallow: /

Google にサイト全体を含めることだけを禁止したい場合は、次のコードを編集できます。次のコード:

User-agent: Googlebot
Disallow: /

方法 2: Web ページのコード メソッドを設定します

コード と < の間に次のコードを追加します。 ;/head> を Web サイトのホームページに配置して、検索エンジンのクロールを防止します。 Web サイトを取得し、Web ページのスナップショットを表示します。

<meta name="robots" content="noarchive">

Web サイトのホームページのコード と の間に次のコードを追加して、Baidu 検索エンジンが Web サイトをクロールして Web ページのスナップショットを表示しないようにします。

<meta name="Baiduspider" content="noarchive">

Web サイトのホームページのコード と の間に次のコードを追加して、Google 検索エンジンが Web サイトをクロールして Web ページのスナップショットを表示しないようにします。

うわー

以上が検索エンジンによるウェブサイトの掲載を拒否する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。