Python爬虫之 urllib

一、简单的网页爬虫

import urllib2
#连接请求
request  = urllib2.Request('http://www.baidu.com')
#获得响应
reponse = urllib2.urlopen(request)

print response.read()

二、Get和Post数据传送方法的不同

Get方法是将要传输的参数在url链接里面展示出来，但是post不展示。这样的话，get方法就比较直观，但是不是很安全

三、Post方式的编码

#post方式
import urllib2
import urllib

value = {"username":"jjjj","password":"123456"}
#进行编码
data = urllib.urlencode(value)
url = "http://www.baidu.com"
#连接请求
request  = urllib2.Request(url,data)
#获得响应
reponse = urllib2.urlopen(request)

print response.read()

四、Get方式编码

#get方式
import urllib2
import urllib

value = {}
value['username'] = "fhjfhj"
value['password'] = "123456"
#进行编码
data = urllib.urlencode(value)
url = "http://www.baidu.com"

geturl = url+"?"+data
#连接请求
request  = urllib2.Request(geturl)
#获得响应
reponse = urllib2.urlopen(request)

print response.read()