php – Baidu- und Google-Crawler geben 403 zurück, wenn sie auf das Laravel5.4-Framework zugreifen

Question

Geschlossencsrf验证，并且允许get、postZugang. Die Website kann normal aufgerufen werden. Der Server verwendet keine Sicherheitssoftware. Die Firewall schränkt keine IP-Adressen ein. Hat jemand damit zusammenhängende Probleme festgestellt?

Answer 1

public 下有个 robots.txt 文件，你看看是怎么设置的，这个就是控制爬虫能不能抓取的。