2014年7月30日
细说robots.txt
摘要： robots.txtRobots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。简介robots.txt是一个协议，而不是一个命令，只是一个简简单单的txt... 阅读全文
posted @ 2014-07-30 14:13 2BiTT 阅读(541) 评论(0) 推荐(0) 编辑