爬虫---请求

http请求，或者response都是二进制的

 

1.urllib不推荐用

1.1 python内置的HTTP请求库

urllib.request   请求

urllib.error     异常

urllib.parse    url拼接

urllib.robotparse     不用

1.2urllib.request

http://httpbin.org/:这是一个http测试网站，比如测ip，测你的http请求

加header

加form表单

url中加如参数

cookie的读取

代理的设置

对象：request，response，opener，handler

 

2.requests

发送带参的get请求

发送post请求

设置代理

会加headers

会话维持，（如何取出cookie查看）

忽略证书

返回的二进制，字符串

json变dict

文件上传files

超时设置