2018年3月29日
日常反反爬虫
摘要： 这里介绍几种工作中遇到过的常见反爬虫机制及应对策略。 爬虫的君子协议 有些网站希望被搜索引擎抓住，有些敏感信息网站不希望被搜索引擎发现。 网站内容的所有者是网站管理员，搜索引擎应该尊重所有者的意愿，为了满足以上等等，就需要提供一种网站和爬虫进行沟通的途径，给网站管理员表达自己意愿的机会。有需求就有供 阅读全文
posted @ 2018-03-29 18:03 李小六儿 阅读(1703) 评论(0) 推荐(0) 编辑