摘要: 代理(反爬机制) 短时间向一个服务器发起高频请求,会被认定为异常请求,将当前IP列入黑名单 概念:在爬虫中指的就是代理服务器 代理服务器的作用: 拦截请求和响应,进行转发 代理和爬虫之间的关联? 如果pc端IP被禁掉后,我们就可以使用代理机制更换请求的IP 如何获取相关的代理服务器 快代理:http 阅读全文
posted @ 2020-03-19 18:32 boy° 阅读(867) 评论(0) 推荐(0) 编辑
摘要: 数据解析简介 数据解析:解析或提取数据,从通用爬虫获取的整张页面中,取得指定的局部数据 作用:实现聚焦爬虫 实现方式: (相比来说麻烦一些) (python中独有的) (java,php,python均可使用) (python独有) 数据解析的通用原理是什么? 解析的一定是html页面的源码数据 解 阅读全文
posted @ 2020-03-19 09:43 boy° 阅读(622) 评论(0) 推荐(0) 编辑