爬虫学习笔记第三天(requests库)

1.方法:get(),post(),put(),delete(),

  1.1get(URL)方法(返回str类型):添加额外的信息时,用params={}加入get函数。>>>>>>打开二进制文件时,用open("name","method")>>>>>>添加头信息,用headers={}加入get函数>>>>>设置时间,timeout加入到get函数中,

  1.2post(URL,data={form})方法:requests.codes判断请求是否成功。>>>>>>模拟文件上传的过程,files={“files”:"address",“method”}加入post函数。

  1.3获取和设置Cookies:获取,用.cookies获取,返回一个RequestCookieJar类型,然后用items()方法将其转化为元组组成的列表,再遍历出每一个cookie的名称和值。>>>>>>可以利用split()方法分割,再用set()方法设置好每个Cookie的key和value,再通过request的get()方法传递给cookies

1.4利用get()和post()打开网页是两个完全不相关的会话,可以通过设置一样的cookies获得权限,也可以创建一个Session对象,相当于打开一个新的浏览器选项卡而不是浏览器,维持同一个会话

  1.5当发送HTTP请求时,他会检查SSL证书:verify参数控制是否检查此证书,默认为True。忽略会有警告,用urllib.disable_warnings()忽略警告

  1.6代理设置:HTTP代理,proxies={}加入到get函数中。>>>>>>SOCKS协议代理,

posted @ 2019-08-27 09:26  Turing-dz  阅读(113)  评论(0编辑  收藏  举报