urllib3

  urllib3是一个功能强大、条理清晰、用于http客户端的python库,相对于urllib它所有的特点如下:

    线程安全

    连接池

    客户端SSL/TLS验证

    使用多部分编码上传文件

    Helpers用于重试请求并处理HTTP重定向

    支持gzip和deflate编码

    支持HTTP和SOCKS代理

    100%的测试覆盖率

通过urllib3模块实现发送网络请求的示例代码如下:

import urllib3

#创建PoolManager对象,用于处理与线程池得到连接以及线程安全的所有细节
http=urllib3.PoolManager()
#对需要爬取的网页发送请求
response=http.request('GET','https://www.baidu.com/')
print(response.data)

post请求实现获取网页信息的代码:

import urllib3

http=urllib3.PoolManager()

response=http.request('POST','https://httpbin.org/post',fields={'word':'hello'})

print(response.data)

 

posted @ 2019-02-27 08:49  余火灬  阅读(514)  评论(0编辑  收藏  举报