网络爬虫与web之间的访问授权协议——Robots
摘要:
网站的管理者们通常会有这样一种心态:一方面期待百度、Google这样的搜索引擎来抓取网站的内容,另一方面又很厌恶其他来路不明的网络爬虫抓取自己的信息。正是因为这样,才有“好爬虫”、“坏爬虫”这样的说法。提到“好爬虫”,就不得不提网络爬虫与web之间的访问授权协议——Robots协议了。Robots协 阅读全文
posted @ 2017-03-06 06:38 niansi 阅读(909) 评论(1) 推荐(0) 编辑