2015年11月28日
Robots.txt 协议详解及使用说明
摘要： 一、Robots.txt协议Robots协议，也称为爬虫协议、机器人协议等，其全称为“网络爬虫排除标准（Robots Exclusion Protocol）”。网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。也既是Robots的用法有两种，一种是告诉搜索引擎哪些页面你不能抓（... 阅读全文
posted @ 2015-11-28 13:19 Cocowool 阅读(8204) 评论(1) 推荐(1) 编辑