摘要: 阅读全文
posted @ 2019-05-23 23:25 殇之弑梦 阅读(101) 评论(0) 推荐(0) 编辑
摘要: 不能犯法: 一定要遵循Robots协议: Robots协议(爬虫协议)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。该协议是国际互联网界通行的道德规范,虽然没有写入法律,但是每一个爬虫都应该 阅读全文
posted @ 2019-05-23 17:59 殇之弑梦 阅读(1049) 评论(0) 推荐(0) 编辑