2.18总结

寒假第二十一天

继续python爬虫练习

Requests库

requests库是一个常用于http请求的模块，可以方便的对网页进行爬取，是学习python爬虫比较好的http请求模块，比urllib库更加简洁，并且自带json解析器。

 

request提供的方法

 

get(url,params,**kwargs)

• url: 需要爬取的网站地址。
• params: url中的额外参数，字典或者字节流格式，可选。
• **kwargs : 控制访问的参数

post(url, data=None, json=None, **kwargs):

• url: 需要爬取的网站地址。
• data:传递的内容。
• json:json格式传递的内容
• **kwargs : 控制访问的参数

request(method, url, **kwargs):

• method:需要使用的方法
• url：爬行的路径
• **kwargs : 控制访问的参数

控制访问的参数

 requests的优势在于使用简单，相同一个功能，用requests实现起来代码量要少很多。