摘要: robots.txt是什么 robots.txt是一个协议,而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt, 阅读全文
posted @ 2022-10-08 22:33 Little_Monster-lhq 阅读(48) 评论(0) 推荐(0) 编辑