爬虫学习(七)——使用代理服务器进行数据爬取

代理服务器:快代理,西刺代理,阿布云代理,芝麻代理

1.使用代理的时候,可以直接使用浏览器设置就行了。
三个点-》设置-》高级-》打开代理设置-》连接-》局域网设置->w为lan使用代理服务器->输入ip号和端口号即可
2.使用代码进行模拟代理服务器的请求

 

import urllib.request
import random
import time

# 将代理读进来
fp = open( "pool.txt", "r", encoding="utf8" )
lt = fp.readlines()
fp.close()
# print(lt)

url = "http://www.baidu.com/s?ie=UTF-8&wd=ip"
# 从代理池中随便抽取一个
while 1:
proxy = random.choice( lt )
proxy1 = proxy.rstrip( "\n" )
print( proxy1 )

daili = {"http": proxy1}
#
print( "现在使用的代理服务器是:%s" % proxy1 )

handler = urllib.request.ProxyHandler( proxies=daili )

opener = urllib.request.build_opener( handler )

try:
response = opener.open( url )
print( "代理服务器%s使用成功" % proxy1 )
with open( "daili1.html", "wb" ) as fp:
fp.write( response.read() )
break
except Exception as e:
print( "代理服务器%s使用失败" % proxy1 )
lt.remove( proxy )
time.sleep( 2 )

 

posted @ 2019-02-13 17:00  石桥浪子  阅读(997)  评论(0编辑  收藏  举报