Combien de temps faut-il pour que les Robots fassent effet ?

Parfois, nous oublions d'écrire le fichier robots.txt au début de la création d'un site Web, et une grande partie du contenu que nous ne voulons pas que les moteurs de recherche incluent. cette fois, nous constaterons qu'il semble que beaucoup de temps s'est écoulé. Les pages que vous ne souhaitez pas inclure sont toujours incluses. Combien de temps faut-il pour que les robots prennent effet ?

Baidu Lee a dit un jour en public : Différents sites sont légèrement différents, mais ils prennent généralement effet en quelques jours.

En fait, on peut imaginer le processus des robots prenant effet :

1 L'araignée découvre que le fichier des robots a été modifié et transmet l'information. revenons à

2. Analysez les fichiers robots avant et après modification

3. Supprimez les données d'index dont l'inclusion n'est pas autorisée

Il peut y avoir d'autres étapes dans cette opération. Cependant, en raison de la fréquence d'exploration de chaque site Web, les différents poids du site Web (l'importance du site Web) entraînent un retard dans le temps nécessaire aux robots pour découvrir les changements dans les robots ou les différentes priorités de traitement. le temps effectif des robots est différent.

Grâce à l'analyse ci-dessus, nous pouvons conclure que le temps d'efficacité des robots n'est pas certain. Si vos robots ne prennent pas effet pendant une longue période après avoir été modifiés, vous pouvez vous plaindre ici : tousu.baidu.com<.>

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!