urllib2之开放代理与私密代理
1、开放代理
import urllib2 #构建代理对象 httpproxy_handler = urllib2.ProxyHandler({'http':'填入代理IP'}) #构建opener对象 opener = urllib2.build_opener(httpproxy_handler) #构建请求 request = urllib2.Request('http://www.baidu.com/') #发送请求,接收相应 response = opener.open(request) print(response.read())
2、私密代理
import urllib2 #构建代理对象 httpproxy_handler = urllib2.ProxyHandler({'http':'username:password@代理IP'}) #构建opener对象 opener = urllib2.build_opener(httpproxy_handler) #构建请求信息 request = urllib2.Request('http:/www.baidu.com') #发送请求接受相应 response = opener.open(request) print(response.read()) #注意 上述的httpproxy_handler中的代理一般不会直接写在主代码中,方式如下 #1.可写入一个模块,采用导包的方式导入并使用 #2.可以写入系统环境变量中 #具体操作如下参考 #在系统环境变量中写入 #proxyuser = username #export proxyuser #proxypasswd = password #通过source 使更改生效 #上述程序可改为 import urllib2 import os name = os.environ.get('proxyuser') password = os.environ.get('proxypasswd') httpproxy_handler = urllib2.ProxyHandler('http':'name:password@代理IP') opener = urllib2.build_opener(httpproxy_handler) request = urllib2.Request('http:/www.baidu.com') response = opener.open(request) print(response.read())