小陆同学

摘要： 爬虫的类型分为：通用型爬虫、聚焦型爬虫。 通用型爬虫指的是搜索引擎， 聚焦型爬虫指的是针对哪家网站做针对性的爬取。 接下来分析一下其各自的手段和方法。 反爬手段：IP频率限制，在一定时间内对服务器发起较高频率的网络请求的IP。 用户信息，需要用户名密码及验证码的验证， ajax异步请求，页面无刷新 阅读全文

摘要： 网络爬虫（又被称为网页蜘蛛，网络机器人）就是 模拟客户端(主要指浏览器)发送网络请求，接收请求响应，按照一定的规则，自动地抓取互联网信息的程序。 原则上,只要是客户端(主要指浏览器)能做的事情，爬虫都能够做。爬虫的主要用途：网络信息的采集，12306抢票，网络上的投票，相较之前的人工采集数据节省了大 阅读全文