爬虫笔记(四)——代理服务器的设置

        使用同一个IP去爬取同一个网站上的网页,久了之后会被该网站服务器屏蔽。这个时候我们就可以使用代理服务器。 (使用代理服务器去爬取某个网站的内容的时候,在对方的网站上,显示的不是我们真实的IP地址,而是代理服务器的IP地址)。给大家推荐一个网址:http://www.xicidaili.com/,这上面有免费的代理Ip。我们尽量找验证时间比较短的,这样的成功率会比较大。

我们可以看到图片的第一个ip地址,101.236.60.48,对应的端口号为8866,则完整的格式为:“ip地址:端口号",即101.236.60.48:8866。选择好代理ip地址后,我们就可以进行相应的程序编写了,可以使用以下程序,实现通过代理服务器来爬取网站内容。

import urllib.request
import urllib.parse

url = "https://mp.csdn.net/postlist/list/enable"
proxy = urllib.request.ProxyHandler ({'http':'101.236.60.48:8866'})
opener = urllib.request.build_opener(proxy)
opener.addheaders = [('User-Agent','Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45')]
urllib.request.install_opener(opener)
data = urllib.request.urlopen(url).read()
print (len(data))
fhandle = open('/home/wl/csdn.html','wb')
fhandle.write(data)
fhandle.close()
  • urllib.request.ProxyHandler(proxy)函数是用来设置对应的代理服务信息,代理信息的格式为:{'http':代理服务器地址}。
  • urllib.request.build_opener()函数创建一个opener对象。
  • urllib.request.install_opener()将opener变成全局默认的对象。

 

posted @ 2018-07-16 20:08  龙~白  阅读(299)  评论(0编辑  收藏  举报