So richten Sie PHP ein, um das Crawlen von Websites zu verhindern

So verhindern Sie das Crawlen in PHP: Erhalten Sie zunächst UA-Informationen über die Methode „$_SERVER[‘HTTP_USER_AGENT‘];“ und speichern Sie dann die bösartige „USER_AGENT“-Methode im Array. USER_AGENT"-Programm.

Empfohlen: „PHP-Tutorial“

Wir alle wissen, dass es im Internet viele Crawler gibt . Einige sind nützlich für die Website-Einbindung, wie etwa Baidu Spider, aber es gibt auch nutzlose Crawler, die nicht nur die Roboterregeln nicht einhalten und Druck auf den Server ausüben, sondern auch keinen Datenverkehr auf die Website bringen können, wie etwa Yisou Spider ( Neueste Ergänzung: Yisou Spider Wurde von UC Shenma Search übernommen! Daher wurde dieser Artikel aus dem Verbot von Yisou Spider entfernt! Kürzlich entdeckte Zhang Ge, dass das Nginx-Protokoll viele Crawling-Aufzeichnungen von Yisou und anderem Müll enthielt, und stellte daher im Internet verschiedene Methoden zusammen, um das Crawlen der Website durch Müllspinnen zu verhindern Außerdem wurde eine Referenz für alle Webmaster bereitgestellt.

1. Apache

①, durch Ändern der .htaccess-Datei

2. Geben Sie das Verzeichnis conf unter dem Nginx-Installationsverzeichnis ein folgt: Speichern Sie den Code als agent_deny.conf

cd /usr/local/nginx/conf

vim agent_deny.conf

#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
return 403;
}
#禁止指定UA及UA为空的访问
if ($http_user_agent ~* "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) {
return 403;
}
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
return 403;
}

Fügen Sie dann den folgenden Code nach location / { in die Website-bezogene Konfiguration ein :
include agent_deny.conf;

Zum Beispiel die Konfiguration von Zhang Ges Blog:

[marsge@Mars_Server ~]$ cat /usr/local/nginx/conf/zhangge.conf

location / {
try_files $uri $uri/ /index.php?$args;
#这个位置新增1行：
include agent_deny.conf;
rewrite ^/sitemap_360_sp.txt$ /sitemap_360_sp.php last;
rewrite ^/sitemap_baidu_sp.xml$ /sitemap_baidu_sp.php last;
rewrite ^/sitemap_m.xml$ /sitemap_m.php last;
保存后，执行如下命令，平滑重启nginx即可：
/usr/local/nginx/sbin/nginx -s reload

3. PHP-Code

Fügen Sie die folgende Methode nach dem ersten //Get UA information

$ua = $_SERVER['HTTP_USER_AGENT'];
//将恶意USER_AGENT存入数组
$now_ua = array('FeedDemon ','BOT/0.1 (BOT for JCE)','CrawlDaddy ','Java','Feedly','UniversalFeedParser','ApacheBench','Swiftbot','ZmEu','Indy Library','oBot','jaunty','YandexBot','AhrefsBot','MJ12bot','WinHttp','EasouSpider','HttpClient','Microsoft URL Control','YYSpider','jaunty','Python-urllib','lightDeckReports Bot');

//Prohibited Leerer USER_AGENT, dedecms und andere gängige Erfassungsprogramme sind alle leerer USER_AGENT, und einige SQL-Injection-Tools sind auch leerer USER_AGENT

if(!$ua) {
header("Content-type: text/html; charset=utf-8");
die('请勿采集本站，因为采集的站长木有小JJ！');
}else{
foreach($now_ua as $value )
//判断是否是数组中存在的UA
if(eregi($value,$ua)) {
header("Content-type: text/html; charset=utf-8");
die('请勿采集本站，因为采集的站长木有小JJ！');
}
}

4. Testeffekt

Wenn es sich um VPS handelt, ist es sehr einfach. Verwenden Sie curl -A, um „Just Crawl“ zu simulieren, zum Beispiel:

Simulieren Sie das Crawlen von Yisou Spider:

curl -I -A 'YisouSpider' zhang.ge

Simulieren Sie das Crawlen mit leerem UA:
curl -I -A ' ' zhang.ge
Simulieren Sie das Crawlen von Baidu Spider:
curl -I -A 'Baiduspider' zhang.ge

Ändern Sie die .htaccess im Website-Verzeichnis und fügen Sie den folgenden Code hinzu (2 Typen Code optional): Die Screenshots der drei Crawling-Ergebnisse lauten wie folgt:

Es ist ersichtlich, dass die leeren Rückgaben von Yisou Spider und UA 403 verbotener Zugriff sind Zeichen, während Baidu Spider Return 200 erfolgreich ist, ist die Beschreibung gültig!

Ergänzung: Überprüfen Sie am nächsten Tag den Screenshot des Nginx-Protokolleffekts:

①, die Garbage Collection mit leeren UA-Informationen wurde abgefangen:

②. Verbotene UAs werden abgefangen:

Daher können wir zur Sammlung von Spam-Spidern die Zugriffsprotokolle der Website analysieren, um einige unsichtbare herauszufinden Nachdem der Spider-Name korrekt gefunden wurde, kann er zur Verbotsliste des vorherigen Codes hinzugefügt werden, um das Crawlen zu verhindern.

5. Anhang: UA-Sammlung

Die folgende Liste dient nur als Referenz und kann gerne ergänzt werden.

FeedDemon 内容采集
BOT/0.1 (BOT for JCE) sql注入
CrawlDaddy sql注入
Java 内容采集
Jullo 内容采集
Feedly 内容采集
UniversalFeedParser 内容采集
ApacheBench cc攻击器
Swiftbot 无用爬虫
YandexBot 无用爬虫
AhrefsBot 无用爬虫
YisouSpider 无用爬虫（已被UC神马搜索收购，此蜘蛛可以放开！）
MJ12bot 无用爬虫
ZmEu phpmyadmin 漏洞扫描
WinHttp 采集cc攻击
EasouSpider 无用爬虫
HttpClient tcp攻击
Microsoft URL Control 扫描
YYSpider 无用爬虫
jaunty wordpress爆破扫描器
oBot 无用爬虫
Python-urllib 内容采集
Indy Library 扫描
FlightDeckReports Bot 无用爬虫
Linguee Bot 无用爬虫

Das obige ist der detaillierte Inhalt vonSo richten Sie PHP ein, um das Crawlen von Websites zu verhindern. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!