Python 对cookies的处理——urllib2
import urllib2 import cookielib cookie = cookielib.CookieJar() opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)) response = opener.open('http://www.baidu.com') for item in cookie: print 'Name = '+item.name print 'Value = '+item.value
运行之后就会输出访问百度的Cookie值:
http://blog.csdn.net/SirM2z/article/details/46350721?locationNum=13&fps=1
urllib和urllib2 库 (网页下载)
urllib 和 urllib2 库是学习Python爬虫最基本的库,利用这个库我们可以得到网页的内容,并对内容用正则表达式提取分析,得到我们想要的结果。
- urllib和urllib2模块都做与请求URL相关的操作,但他们提供不同的功能。
urllib2.urlopen
可以接受一个Request
对象或者url
,(在接受Request
对象时候,并以此可以来设置一个URL的headers
)urllib.urlopen
只接收一个url
urllib
有urlencode
,提供urlencode
方法用来GET查询字符串的产生,而urllib2
没有,这也是为什么总是urllib
,urllib2
常会一起使用的原因.