1. robots.txt文件存在的目的:不希望网站的某些页面被抓取和收录 nofollow标签也不能保证页面一定不被搜索引擎收录 2.robots.txt 文件是什么?robots.txt 即蜘蛛协议,全称为“网络爬虫排除标准”(Robots...