検索エンジンはどのようにしてサイト上の情報を見つけますか?

映画サイト A などの一部の映画 Web サイトでは、サイト A の abc リソースがサイト A の検索バーで検索できることを確認しました。しかし、現在では、Baidu で abc を直接検索して、サイト A の abc リソースを見つけることができます。 . サイト A を検索する必要はもうありません。abc リソースはどのように実装されていますか?

返信内容:

映画サイト A などの一部の映画 Web サイトでは、サイト A の abc リソースがサイト A の検索バーで検索できることを確認しました。しかし、現在では、Baidu で abc を直接検索して、サイト A の abc リソースを見つけることができます。 . サイト A を検索する必要はもうありません。abc リソースはどのように実装されていますか?

サイト上のコンテンツが検索エンジンで見つからない場合、検索エンジンは検索するものが何もありません。

すべてのリンク、関連する上流リンクと下流リンクが含まれており、リンクの Web サイト所有者が robots.txt ファイルを通じて検索エンジンの包含を禁止する宣言をしていない場合、理論上、それらは検索エンジンによって検索されるべきです。

ウェブクローラー

継続的なクロールには多くのサーバーと多くの計算が必要です