- requests模块的高级操作
- 代理
- 概念：代理服务器
- 作用：请求和响应的转发
- 免费的代理
- www.goubanjia.com
- 快代理
- 西祠代理
- 代理精灵（推荐）http://www.zhiliandaili.cn
- 匿名度
- 透明：对方服务器知道你使用了代理，也知道你的真实的IP
- 匿名：知道使用了代理，不知道你的真实IP
- 高匿：不知道使用了代理，也不知道真实的IP
- 类型：
- http
- https
- 付费的代理：
- 代理池：列表中存储了多个字典，每个字典{'http':'ip:port'}
- 使用：get/post(proxies = {'http': 'ip:port'})
- cookie
- 存储在客户端的键值对，可以让服务器端记录客户端的相关状态。
- 如何处理cookie?
- 手动处理：将抓包工具中的请求头信息中的cookie键值拷贝到headers中
- 自动处理：session对象
- session对象：该对象和requests有类似的功能，该对象也可以像requests一样调用get/post进行请求发送。
如果使用session进行请求发送的过程中产生了cookie，则cookie会被自动存储到session对象中。
- 提高爬虫爬取数据的效率
- 线程池
- 单线程+多任务异步协程
- 特殊的函数
- 如果async修饰了一个函数的定义，则该函数就变成了一个特殊的函数，特殊之处在于：
- 特殊函数被调用后，函数内部的实现语句不会被立即执行。
- 该特殊函数调用后会给我们返回一个协程对象
- 协程对象: 特殊函数调用后可以返回一个协程对象
- 协程 == 特殊函数
- 任务对象：就是对协程对象的进一步封装。就是一个高级的协程对象。
- 任务对象 == 协程对象 == 特殊的函数
- 绑定回调
- task.add_done_callback(parse) # parse就是函数
- parse的定义中
- parse必须有一个参数，该参数表示的就是回调函数对应的任务对象
- task.result()：就是特殊函数的返回值
- 事件循环对象
- 该对象内部必须注册的是任务对象，当事件循环开启后，其内部注册的任务对象就可以基于异步被执行。
- [注意]：在特殊函数内部不可以出现不支持异步模块对应的代码！！！
- aiohttp：基于异步的网络请求模块
- pip install aiohttp
- 编码
- 基本架构
```python
with aiohttp.ClientSession() as s: # s就是一个请求对象
with s.get(url) as response: # get/post(url, data/params, headers, proxy='http://ip:port')
page_text = response.text() # read() ==> content
return page_text
```
- 补充细节
- 在每一个with前加上async
- 在每一个阻塞操作前加await
```python
async with aiohttp.ClientSession() as s: # s就是一个请求对象
async with await s.get(url) as response: # get/post(url, data/params, headers, proxy='http://ip:port')
page_text = await response.text() # read() ==> content
return page_text
```
- selenuim在爬虫中的应用chromedriver.exe
- 概念：是一个基于浏览器自动化的一个模块。
- selenium爬虫之间的关联是什么？
- 便捷的获取动态加载的数据（可见即可得）
- 实现模拟登陆
- selenium的缺点
- 效率低
- 基本使用
- pip install selenium
- 获取浏览器的驱动程序 http://chromedriver.storage.googleapis.com/index.html
- 动作链
- 概念：一组连续的行为动作
- 无头浏览器
- PhantomJs
- 谷歌
- selenium的规避检查
- Js注入 window.navigator.webdriver
- 默认使用浏览器访问值为undefined
- 使用selenium值为true
- 验证码的识别
- 超级鹰 http://www.chaojiying.com/about.html
- 云打码 http://www.yundama.com/about.html
- 超级鹰的使用流程
- 注册
- 登录：用户中心的身份进行登录
- 充值
- 创建一个软件：软件ID->生成一个软件ID
- 下载示例代码：开发文档-Python
- 气象数据爬取分析 https://www.aqistudy.cn/html/city_detail.html
- 1.数据都是动态加载出来的
- 2.当点击不通的选项卡的时候并没有捕获到数据包，意味着所有的数据都是在一开始的时候就被加载出来了。
- 3.当切换不通的查询条件后，点击搜索按钮，抓包工具就可以捕获到气象数据对应的数据包。
- url：https://www.aqistudy.cn/apinew/aqistudyapi.php <post>==>data:d
- ajax请求
- 请求参数d，加密后的密文数据
- 通过火狐浏览器可以找到搜索按钮对应的监听的事件，该事件触发后执行的是getData函数
- 分析getData函数的实现
- type == 'HOUR'
- 发现了getAQIData() 和getWeatherData()的调用
- 分析 getAQIData() 和getWeatherData()
- 实现代码几乎一致，只有method的赋值不一样（GETDETAIL/GETCITYWEATHER）
- getServerData（method, param, ）函数的调用
- param是一个字典，四组键值对（city, type,startTime, endTime）（查询条件）
- 分析getServerData的定义
- 抓包工具中进行getServerData的全局搜索，定位到该函数的实现
- 该函数的实现对应的代码进行了JS混淆
- JS混淆：对原生的JS代码进行加密
- 解决JS混淆的操作是JS反混淆
- 基于该网站进行反混淆：http://www.bm8.com.cn/jsConfusion/
- 终于找到了ajax请求对应的代码：
- 动态变化且加密的请求参数可以由getParam(method,type)
- decodeData(data);是将加密的响应结果进行解密
- PyExecJS介绍：PyExecJS是一个可以使用Python来模拟运行Javascript的库。
我们需要pip install PyExecJS对其进行环境安装。
- 必须事先安装好nodejs环境
- 反爬机制:
- robots
- UA
- 图片懒加载
- 动态加载的数据
- 代理
- cookie
- 验证码
- js混淆
- js加密
- selenium的规避检测
- scrapy框架
- Windows：
- a. pip3 install wheel
- b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
- c. 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
- d. pip3 install pywin32
- e. pip3 install scrapy
