洗礼灵魂,修炼python(59)--爬虫篇—httplib模块
httplib
1.简介
同样的,httplib默认存在于python2,python3不存在:
httplib是python中http协议的客户端实现,可以用来与 HTTP 服务器进行交互,支持HTTP和HTTPS。httplib功能挺实用,也挺简单,不信的话,接着看
2.方法/属性
httplib的内容不是很多,也比较简单
3.常用方法/属性解析
httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] ):HTTPConnection类的构造函数(有没有发现和urllib.urlopen对象很像?),表示一次与服务器之间的交互,即请求/响应。
- host:服务器ip或者url,如:www.baidu.com
- port:端口号,默认值为80
- strict:默认值为false, 表示在无法解析服务器返回的状态行时( status line),是否抛BadStatusLine 异常(最常见的: HTTP/1.0 200 OK )
- timeout:超时时间
对象HTTPConnection的方法:
HTTPConnection.request ( method , url [ , body [ , headers ]] )(这里是不是又很像urllib2.request):调用request 方法会向服务器发送一次请求
- method:请求的方法,常用有方法有get 和post
- url:请求的资源的url
- body:提交到服务器的数据,必须是字符串(如果method 是”post” ,则可以把body 理解为html 表单中的数据)
- headers:请求的http头
HTTPConnection.connect():连接到Http服务器
HTTPConnection.close():关闭与服务器的连接
HTTPConnection.set_debuglevel ( level ):设置高度级别,参数level的默认值为0 ,表示不输出任何调试信息
HTTPConnection.getresponse():表示服务器对客户端请求的http响应,返回的对象是HTTPResponse 的实例,下面提到
对象httplib.HTTPResponse方法:
HTTPResponse.read([amt]):获取响应的消息体。如果请求的是一个普通的网页,那么该方法返回的是页面的html。可选参数amt表示从响应流中读取指定字节的数据。
HTTPResponse.getheader(name[, default]):获取响应头
- name表示头域(header field)名
- default在头域名不存在的情况下作为默认值返回
HTTPResponse.getheaders():以列表的形式返回所有的头信息
HTTPResponse.msg:获取所有的响应头信息
HTTPResponse.version:获取服务器所使用的http协议版本,比如11表示http/1.1;10表示http/1.0
HTTPResponse.status:获取响应的状态码,如:200
HTTPResponse.reason:返回服务器处理请求的结果说明,多为”OK”
例:
#coding=utf-8
import httplib
test=httplib.HTTPConnection('www.baidu.com',80,False)
test.request('GET','/',headers={'Host': 'www.baidu.com',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0',
'Accept': 'text/plain'})
res = test.getresponse()
print 'version:%s'%res.version
print 'reason:%s'%res.reason
print 'status:%s'%res.status
print 'msg:%s'%res.msg
print 'headers:%s'%res.getheaders()
print res.read()
test.close()
结果:
其他方法和属性自己下去再测试了
Httplib模块中还定义了一些常量:
Httplib. HTTP_PORT:值为80,表示默认的端口号为80
Httplib.OK:值为200,表示请求成功返回
Httplib. NOT_FOUND:值为404,表示请求的资源不存在
可以通过httplib.responses 查询相关变量的含义:
其实有没有觉得httplib还相对挺简单的,我个人感觉比urllib功能多点,比urllib2简单。
免责声明
本博文只是为了分享技术和共同学习为目的,并不出于商业目的和用途,也不希望用于商业用途,特此声明。如果内容中测试的贵站站长有异议,请联系我立即删除