Comment écrire un fichier robots.txt

La méthode d'écriture de robots.txt est quelque chose que le personnel SEO doit connaître (qu'est-ce que robots.txt), mais comment l'écrire, ce qui est interdit et ce qui est autorisé, nous devons le définir nous-mêmes.

Baidu Spider est une machine. Elle ne reconnaît que les chiffres, les lettres et les caractères chinois, et robots.txt est le « dialogue » le plus important et le premier avec Baidu.

Lorsque notre site Web n'est pas encore construit, nous ne voulons pas que Baidu explore notre site Web, et certaines personnes interdisent souvent à Baidu de l'explorer. Cependant, cette approche est très mauvaise, car elle rendra difficile la visite des araignées Baidu sur votre site Web. Par conséquent, nous devons créer le site Web localement maintenant, puis acheter le nom de domaine et l'espace une fois que tout est terminé, sinon les modifications répétées d'un site Web auront certains effets négatifs sur votre site Web.

Le robots.txt initial de notre site Web s'écrit comme suit :

User-agent : *

Disallow: /wp-admin/

Disallow : /wp-includes/

User-agent : * signifie, autoriser tous les moteurs à explorer.

Interdire : /wp-admin/ et Interdire : /wp-includes/ interdisent à Baidu d'explorer notre confidentialité, y compris les mots de passe des utilisateurs, les bases de données, etc. Cette façon d’écrire protège non seulement notre vie privée, mais maximise également l’exploration de Baidu Spider.

Si vous souhaitez interdire à Baidu Spider d'explorer une certaine page, telle que 123.html, ajoutez le code "Disallow: /123.html/".

Après avoir écrit le fichier robots.txt, il vous suffit de le télécharger dans le répertoire racine du site Web.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!