1 网络爬虫_设置代理服务器
书目参考：精通Python网络爬虫和Python3网络爬虫实战。
这里只给出正确的代码。
首先，代理服务器ip的网址是：http://www.xicidaili.com/。这里面有大量的失效IP地址。
其次， http://httpbin.org/get或者https开通的网址可以对是否设置成功进行验证。
实际代码如下：
# -*- coding: utf-8 -*-
"""
Created on Wed Jul 11 15:54:09 2018
@author: a
"""
#设置正确的代理服务器
from urllib.error import URLError
def use_proxy(proxy_addr,url):
import urllib.request
#proxy=urllib.request.ProxyHandler({"http":"http://"+proxy_addr,"https":"https://"+proxy_addr})
proxy=urllib.request.ProxyHandler({"http":"http://"+proxy_addr})
headers=("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5193.400 QQBrowser/10.0.1066.400")
opener=urllib.request.build_opener(proxy)
opener.addheaders=[headers]
#print (opener.open(url).getheaders())
#print (opener.open(url).info())
try:
response=opener.open(url)
data=response.read().decode('utf-8')
print(data)
except URLError as e:
print("出现异常")
print(e.reason)
return data
#获取本机ip地址
import socket
hostname = socket.gethostname()
ip = socket.gethostbyname(hostname)
print ("本机电脑名：",hostname)
print ("本机Ip：",ip)
proxy_addr="101.236.35.98:8866"
data=use_proxy(proxy_addr,"http://httpbin.org/get")
#print (data)
print (len(data))
#也可以opener=urllib.request.build_opener(proxy，urllib.request.HTTPHandler)
#也可以注册opener。
urllib.request.install_opener(opener)
response=urllib.request.urlopen(url)
为了确定是否使用的是代理服务器的ip地址，可以将目标url设为: http://httpbin.org/get因为该服务器的response会专门返回客户端使用的ip地址。可以看到：
runfile('G:/精通python网络爬虫/6 代理服务器设置_2.py', wdir='G:/精通python网络爬虫')
本机电脑名： DESKTOP-090FKDS
本机Ip： 192.168.8.100
{"args":{},"headers":{"Accept-Encoding":"identity","Cache-Control":"max-age=259200","Connection":"close","Host":"httpbin.org","User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5193.400 QQBrowser/10.0.1066.400"},"origin":"101.236.35.98","url":"http://httpbin.org/get"}
352
几个错误
第一个错误
Python3网络爬虫实战书中的错误是：设置Proxyhandler的时候使用的是：
#proxy=urllib.request.ProxyHandler({"http":"http://"+proxy_addr,"https":"https://"+proxy_addr})
即将http和https都设置了。但是这样总是会出现各种问题。
其中，http://www.xicidaili.com/对于各种类型的代理IP是有严格分类的。如果访问http的网址，就用国内http代理IP即可。
第二个错误
写代码的时候没有注意，反复open(url)就会导致报错。
print (opener.open(url).getheaders())
print (opener.open(url).info())
data=opener.open(url).read().decode('utf-8')
print(data)
return data
第三个错误
如果设置的代理是http类型的，访问的是https的网址。这个时候，代理是不起任何作用的。比如，有效的http代理服务器ip是：102.236.35.98:8866。这个时候，你随便改动IP，使用下面的代码，都能正常跑通。
def use_proxy(proxy_addr,url):
import urllib.request
proxy=urllib.request.ProxyHandler({"http":"http://"+proxy_addr})
print (proxy_addr)
headers=("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5193.400 QQBrowser/10.0.1066.400")
opener=urllib.request.build_opener(proxy)
opener.addheaders=[headers]
data=opener.open(url).read().decode('utf-8')
print (data)
return data
#获取本机ip地址
import socket
hostname = socket.gethostname()
ip = socket.gethostbyname(hostname)
print ("本机电脑名：",hostname)
print ("本机Ip：",ip)
#proxy_addr="101.236.35.98:8866"
proxy_addr="104.236.35.98:8866"#随便改动ip地址。
data=use_proxy(proxy_addr,"https://www.baidu.com")
#print (data)
print (len(data))
为了验证一下ip地址没有起到任何作用。我们修改url为：https://httpbin.org/get
因为这个url的response是客户端的ip地址，可以看到结果如下：
可以看到本机的ip是192.168.8.100，设置的代理服务器的ip是
104.236.35.98:8866，而服务器端记录的客户端的ip地址是：117.61.138.21．
你继续改动代理服务器的ip地址：可以看到，服务器端记录的客户端ip地址仍然是：117.61.138.21
为什么117.61.138.21和我的本机ip不一样呢。
这是因为我的电脑连接的是wifi热点。所以服务器实际记录的客户端ip地址就不是我的电脑显示的。
