1_初识爬虫

1、爬虫工作原理

　　获取数据（请求、响应）-解析数据-提取数据-存储数据

2、工作前准备

　　引入ruquests库

　　　　代码：import requests

　　　　本地安装：windows系统打开cmd命令，输入：pip install requests

　　　　　　　　　Mac系统：打开终端，输入：pip3 install requests

3.使用案例

　　获取数据

　　import requests 

　　res = requests.get(URL);//res是响应对象

　　解析数据

　　音频、视频、对象是2进制文件，需要用到context方法.如果是文本，直接使用text方法即可

　　video = res.content;获取视频2进制编码

　　sp = open(sp.mp4,'wb');//新建一个空白的视频文件sp,允许读写

　　提取数据

　　sp.write(video);//将视频2禁止编码写入视频文件中

　　//存储数据,省略

　　关闭资源

　　sp.close()

 

　　涉及文本内容乱码的情况，需使用encoding方法进行编码

　　res = requests.get('URL');

　　res.encoding('utf-8');

　　res.status_code//status_code方法返回请求响应结果，详情参照http响应状态码