php - 百度、谷歌爬虫访问laravel5.4框架返回403

Question

已关闭csrf验证，并且允许get、post访问。网站能正常访问。服务器没用任何安全软件。防火墙没限制任何ip。有遇到相关问题的小伙伴么?

Answer 1

public 下有个 robots.txt 文件，你看看是怎么设置的，这个就是控制爬虫能不能抓取的。