Une astuce pour résoudre l'utilisation du fichier robots.txt dans Empire CMS

L'exemple de cet article décrit l'utilisation du fichier robots.txt dans Empire CMS. Partagez-le avec tout le monde pour votre référence. L'analyse spécifique est la suivante :

Avant de parler de l'utilisation du fichier robots.txt dans Empire CMS, laissez-moi vous expliquer ce que fait robots.tx

Protocole Robots (également connu sous le nom de protocole Robots. protocole du robot, règles du robot, protocole du robot, etc.) est robots.txt. Le site Web indique au moteur de recherche quelles pages peuvent être explorées et quelles pages ne peuvent pas être explorées via le protocole des robots. Le protocole Robots est un code d'éthique commun dans la communauté Internet internationale. Son objectif est de protéger les données des sites Web et les informations sensibles et de garantir que les informations personnelles et la vie privée des utilisateurs ne soient pas violées. Puisqu’il ne s’agit pas d’une commande, les moteurs de recherche doivent s’y conformer consciemment. Certains virus, tels que les logiciels malveillants, obtiennent souvent des données de base et des informations personnelles sur les sites Web en ignorant le protocole des robots.

Le fichier robots.txt est un fichier texte qui peut être créé et modifié à l'aide de n'importe quel éditeur de texte courant, tel que le Bloc-notes fourni avec le système Windows. robots.txt est un protocole, pas une commande. robots.txt est le premier fichier que les moteurs de recherche consultent lorsqu'ils visitent un site Web. Le fichier robots.txt indique à l'araignée quels fichiers sur le serveur peuvent être consultés.

Il est recommandé d'étudier le "Tutoriel Empire cms"

Lorsqu'une araignée de recherche visite un site, elle vérifie d'abord si robots.txt existe dans le répertoire racine du site . S'il existe, les robots de recherche détermineront l'étendue de l'accès en fonction du contenu du fichier ; si le fichier n'existe pas, tous les robots de recherche pourront accéder à toutes les pages du site Web qui ne sont pas protégées par mot de passe. Baidu recommande officiellement de n'utiliser le fichier robots.txt que lorsque votre site Web contient du contenu que vous ne souhaitez pas indexer par les moteurs de recherche. Si vous souhaitez que les moteurs de recherche incluent tout le contenu de votre site, ne créez pas de fichier robots.txt.

Si vous considérez un site Web comme une chambre dans un hôtel, robots.txt est le panneau "Ne pas déranger" ou "Bienvenue pour nettoyer" accroché par le propriétaire à la porte de la chambre. Ce fichier indique aux moteurs de recherche en visite quelles pièces peuvent être saisies et visitées, et quelles pièces ne sont pas ouvertes aux moteurs de recherche car elles stockent des objets de valeur ou peuvent impliquer la vie privée des résidents et des visiteurs. Mais robots.txt n’est pas une commande, ni un pare-feu, tout comme un contrôleur d’accès ne peut pas arrêter les intrus malveillants tels que les voleurs.

Le robots.txt par défaut d'Empire CMS est :

Le code est le suivant :

#
# robots.txt for EmpireCMS
#
User-agent: * *允许所有搜索引擎抓取
Disallow: /d/ *禁止所有搜索引擎抓取D目录
Disallow: /e/class/ *禁止所有搜索引擎抓取/e/class/ 目录
Disallow: /e/data/ *禁止所有搜索引擎抓取/e/data/ 目录
Disallow: /e/enews/ *禁止所有搜索引擎抓取/e/enews/ 目录
Disallow: /e/update/ *禁止所有搜索引擎抓取/e/update/ 目录

J'espère que cet article sera utile à tout le monde dans la construction du Site Web d'Empire CMS.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!