python爬虫笔记

一

把一个网站的html代码打印出来

第一种
improt urllib2

url='http://www.baidu.com'
a=urllib2.urlopen(url)
b=a.read()
print b

 

第二种

通过Request对象来映射要打开的地址

import urllib2

a=urllib2.Request('http://www.baidu.com')

b=urllib2.urlopen(a)

c=b.read()

print c

 

二

 urlopen所产生对象的两种重要方法

 

1geturl()#得到原始地址，可能与最初的url不一样

2info()#得到相关信息

 

例

import urllib2

a=urllib2.Request('http://www.baidu.com')

b=urllib2.urlopen(a)

c=b.read()

print c

print b.geturl()

print b.info()