Was ist eine Spinnenfalle?

Spinnenfallen beziehen sich auf Hindernisse, die Spider-Programme daran hindern, Websites zu crawlen, wie z. B. On-Site-Suchen, E-Commerce-Produkte, Flash-Websites, eingeschränkte Inhalte usw. Das größte Merkmal von Spinnenfallen besteht darin, dass eine Spinne, wenn sie eine bestimmte URL crawlt, in eine Endlosschleife gerät, die nur einen Eingang und keinen Ausgang hat.

In der SEO-Arbeit beschäftigen sich SEO-Mitarbeiter täglich mit Inhalten und Links. Aus heutiger Sicht wissen sie, dass unabhängige Originalinhalte für die Zukunft sehr wichtig sind Die Bedeutung der langfristigen Entwicklung, aber der Anfang von all dem hat eine Voraussetzung, die darin besteht, die „Spinnenfalle“ zu vermeiden. Was ist also eine Spinnenfalle?

Was ist eine „Spinnenfalle“?

„Spinnenfallen“ sind Hindernisse, die Spider-Programme daran hindern, die Website zu crawlen. Einige Website-Designtechniken sind für Suchmaschinen sehr unfreundlich und begünstigen das Crawlen und Crawlen von Spinnen nicht . Das größte Merkmal besteht darin, dass der Spider beim Crawlen einer bestimmten URL in eine Endlosschleife eintritt, in der es nur einen Eingang und keinen Ausgang gibt.

Was sind die häufigsten „Spinnenfallen“:

1. Suchen Sie auf der Website

Dies ist ein häufiger und einfacher Ort, um eine „ Spider Trap“: Wenn Sie versuchen, auf der Website nach bestimmten Schlüsselwörtern zu suchen und eine URL-Adresse wie search.php?q= gecrawlt und von der Suchmaschine eingebunden wird, wird wahrscheinlich eine große Anzahl bedeutungsloser Suchergebnisseiten erzeugt.

Lösung: Sie können dynamische Parameter über die Datei Robots.txt blockieren.

2. E-Commerce-Produkte

Wenn Sie bereits Erfahrung mit dem Betrieb einer E-Commerce-Website haben, werden Sie auf das Problem der Vielfalt der Produkt-SKUs stoßen Je nach SKU werden unterschiedliche URLs generiert, was zu einer großen Anzahl doppelter Inhaltsseiten führt, was auch zu einer erheblichen Verschwendung von Spider-Crawling-Frequenz führt.

Natürlich gibt es eine spezielle „Spinnenfalle“, ähnlich wie bei E-Commerce-Produktseiten, nämlich das dynamische Einfügen von Inhalten, die häufig dazu führt, dass Spinnen in sanfte Fallen tappen.

Lösung: Stellen Sie sicher, dass die URL kanonisch ist. Sie können versuchen, das rel=canonical-Tag zu verwenden, um ähnliche Probleme zu lösen.

3. Flash-Website

Um das visuelle Erlebnis des Benutzers zu befriedigen, verwenden Website-Erstellungsunternehmen normalerweise Flash-Websites, um offizielle Unternehmenswebsites für Benutzer zu erstellen. Das sieht sehr schön aus, aber weil aktuelle Suchmaschinen Das geht nicht. Gutes Crawling und die Identifizierung von Flash-Inhalten machen es oft schwierig, das Website-Ranking zu verbessern.

Lösung: Führen Sie Flash nicht für die gesamte Website durch, sondern versuchen Sie, Flash in einen Teil des Webseiteninhalts einzubetten.

4. Eingeschränkter Inhalt

Um Fans anzulocken, können viele Inhalte auf einigen Websites nur durch Einloggen angezeigt werden, insbesondere einige Vorgänge, die Cookies erzwingen, was Spinnen anlockt und täuscht Es ist schwierig, den Inhalt zu identifizieren, und es wird ständig versucht, die URL zu crawlen.

Lösung: Vermeiden Sie beim Erstellen einer Website die Verwendung dieser Strategie zur Gewinnung von Benutzern.

So identifizieren Sie „Spinnenfallen“

Die Identifizierung von Spinnenfallen ist besonders einfach, Sie müssen nur Folgendes durchgehen:

① Website-Protokoll: Verwenden Sie das Tool, um den Inhalt der vom Spider an diesem Tag gecrawlten URL zu lesen. Wenn eine spezielle URL-Adresse gefunden wird, verdient sie weitere Aufmerksamkeit.

② Crawling-Häufigkeit: Überprüfen Sie die Crawling-Häufigkeit auf der Baidu-Suchressourcenplattform. Wenn der Wert an einem bestimmten Tag besonders groß ist, tappen Sie wahrscheinlich in eine Spinnenfalle.

Zusammenfassung: Zu den häufig diskutierten Spinnenfallen gehören Website-Frames, Session-IDs und verschiedene Sprünge. In diesem Artikel werden Spinnenfallen, die häufig in praktischen Anwendungen vorkommen, nur als Referenz beschrieben.

Das obige ist der detaillierte Inhalt vonWas ist eine Spinnenfalle?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!