robots.txt文件
摘要：
网站通过一个符合Robots协议的robots.txt文件来告诉搜索引擎哪些页面可以爬取。Robots.txt协议全称“网络爬虫排除标准”。一般情况下，该文件以一行或多行User-agent记录开始，后面再跟若干行Disallow记录。 User-agent：该项的值用于描述搜索引擎robot的名字 阅读全文
posted @ 2019-07-27 16:47 TFpI 阅读(184) 评论(0) 推荐(0) 编辑