摘要: 反反爬的主要思路 1.尽可能的去模拟浏览器,浏览器在如何操作,代码中就如何去实现。 2.wap 和app的数据反反爬一般不厉害 通过headers字段来反爬 把headers的信息copy到程序的headers:如常见的User-Agent Content-type referer Cookie 等 阅读全文
posted @ 2019-04-10 23:22 沐风先生 阅读(685) 评论(0) 推荐(0) 编辑
摘要: 数据的分类 我们知道,成功发出请求并获取响应后,这时候就要从数据中提取目标数据了。 lxml 1. 为什么要学习lxml lxml是一款高性能的 Python HTML/XML 解析器,我们可以利用XPath,来快速的定位特定元素以及获取节点信息 2.什么是xpath XPath (XML Path 阅读全文
posted @ 2019-04-10 21:44 沐风先生 阅读(497) 评论(0) 推荐(0) 编辑