php - 百度、Google爬蟲訪問laravel5.4框架返回403

Question

#已關閉csrf驗證，並且允許get、post存取。網站能正常使用。伺服器沒用任何安全軟體。防火牆沒限制任何ip。有遇到相關問題的小夥伴麼?

Answer 1

public 下有個 robots.txt 文件，你看看是怎麼設定的，這個就是控制爬蟲能不能抓取的。