python爬虫-url

 特此声明：

• 以下内容来源于博主：http://blog.csdn.net/pleasecallmewhy

                                     http://cuiqingcai.com/

• 根据需要整理到自己的笔记中，用于学习。

 

 

网页抓取：把URL地址中指定的网络资源从网络流中读取出来，保存到本地。

在python中，使用urllib2来抓取网页。以urlopen函数的形式提供了一个非常简单的接口

 函数：urlopen(url, data, timeout)

        

        url：网址     data：访问URL时要传送的数据   timeout：设置超时时间

 

import urllib2
response=urllib2.urlopen('http://www.hao123.com') #调用的是urllib2库里面的urlopen方法，传入一个URL
html=response.read()   #response对象有一个read方法，可以返回获取到的网页内容
print(html)

urllib2用一个Request对象来映射你提出的HTTP请求。

在它最简单的使用形式中你将用你要请求的地址创建一个Request对象，

通过调用urlopen并传入Request对象，将返回一个相关请求response对象，

这个应答对象如同一个文件对象，所以你可以在Response中调用.read()。

import urllib2
req=urllib2.Request('http://www.hao123.com')
response=urllib2.urlopen(req)   #返回信息便保存在response对象里面
the_page=response.read()
print(the_page)

 

 传送数据（POST和GET两种方式）

GET方式：

POST方式：

POST方式
1 import urllib2
import urllib
values={'username':'wujiadong','passward':'1234567'}#要传送的数据   
url='http://www.baidu.com' #爬取的网页
data=urllib.urlencode(values)  #编码工作
request=urllib2.Request(url,data)  #发送请求同时传送表单
response=urllib2.urlopen(request)   #接收反馈的信息
html=response.read()             #读取反馈的内容
print(html)

import urllib2
import urllib
values={}
values['username']='wujiadong'
values['password']='1234567'
data=urllib.urlencode(values)
print(data)
url='https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn'
ful_url=url+'?'+data
request=urllib2.Request(ful_url)
response=urllib2.urlopen(request)
html=response.read()
print(html)
print(ful_url)

 设置Headers到http请求（通过header伪装成浏览器进行访问）

 对有些 header 要特别留意，服务器会针对这些 header 做检查

import urllib2
import urllib
url='http://www.baidu.com'
values={}
values['username']='wujiadong'
values['password']='1234567'
user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers={'Uer-Agent':'user_agent'}
data=urllib.urlencode(values)
request=urllib2.Request(url,data,headers)
response=urllib2.urlopen(request)
page=response.read()
print(page)