Konfigurieren der User-Agent-Methode zum Filtern von Crawlern in Nginx

Ich kann es auf den ersten Blick nicht glauben, es wurde von einem Benutzeragenten namens „yisouspider“ überflutet. Ich weiß auf den ersten Blick nicht, woher die Spinne kommt.
Suchen Sie den Konfigurationsbereich des Stammverzeichnisses, fügen Sie die Filterbeurteilungsanweisung für den Benutzeragenten hinzu und stellen Sie fest, dass die mit dem Namen „yisouspider“ direkt 403 zurückgibt mit |. in der Mitte

Hinweis 2: Wenn Sie ein Unterverzeichnis blog wie meins verwenden, müssen Sie einen Abschnitt wie „Speicherort /blog/“ finden, um ihn zu ändern

 ($http_user_agent ~* "spider1|spider2|spider3|spider4")

Nachdem die Konfiguration abgeschlossen ist und das wq Speichern Sie es, laden Sie Nginx neu und verwenden Sie dann den folgenden Befehl, um einen Selbsttest durchzuführen und die Adresse selbst zu ändern. Wenn Curl nicht installiert ist, bleibt mir nichts anderes übrig, als es selbst mit apt oder yum zu installieren. Es wird mit einem magischen Tool geliefert.

location / {
......其它配置
if ($http_user_agent ~* "yisouspider") {
return 403;
}
}

Sehen Sie sich einfach die zurückgegebene Fehlermeldung 403 an, die darauf hinweist, dass die Konfiguration erfolgreich war

Das obige ist der detaillierte Inhalt vonKonfigurieren der User-Agent-Methode zum Filtern von Crawlern in Nginx. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!