Manchmal vergessen wir, die robots.txt-Datei in der frühen Phase der Erstellung einer Website zu schreiben, und viele Inhalte, die Suchmaschinen nicht einbeziehen sollen, sind darin enthalten Dieses Mal werden wir feststellen, dass es so aussieht, als ob Seiten, die Sie nicht einbeziehen möchten, immer noch enthalten sind. Wie lange dauert es, bis die Roboter wirksam werden?
Baidu Lee sagte einmal öffentlich: Verschiedene Websites unterscheiden sich geringfügig, aber normalerweise treten sie innerhalb weniger Tage in Kraft.
Tatsächlich können wir uns den Prozess vorstellen, bei dem Roboter wirksam werden:
1 Der Spider entdeckt, dass die Roboterdatei geändert wurde und übermittelt die Informationen zurück zu
2. Analysieren Sie die Robots-Dateien vor und nach der Änderung
3. Löschen Sie die Indexdaten, die nicht enthalten sein dürfen
Hierbei können weitere Schritte erforderlich sein Aufgrund der Häufigkeit des Spider-Crawlings auf jeder Website führen unterschiedliche Gewichte der Website (die Bedeutung der Website) dazu, dass Spider Änderungen oder unterschiedliche Verarbeitungsprioritäten verzögern Die effektive Zeit von Robotern ist unterschiedlich.
Durch die obige Analyse können wir den Schluss ziehen, dass die Wirksamkeitszeit von Robotern nicht sicher ist. Wenn Ihre Roboter nach der Änderung lange Zeit nicht wirksam werden, können Sie sich hier beschweren: tousu.baidu.com
Das obige ist der detaillierte Inhalt vonWie lange dauert es, bis Roboter wirken?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
