摘要: import urllib.requestimport randomimport sslproxy_list = [ {"https" : "196.61.27.58:53281"}, {"http" : "121.232.144.81:9000"}]# 随机选择一个代理proxy = random 阅读全文
posted @ 2017-08-23 15:41 猪快跑 阅读(1007) 评论(0) 推荐(1) 编辑
摘要: """ 基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能: 使用相关的 Handler处理器 来创建特定功能的处理器对象; 然后通过 urllib.requestbuild_opener()方法使用这些处理器对象,创建自定义opener对象 阅读全文
posted @ 2017-08-23 15:10 猪快跑 阅读(836) 评论(0) 推荐(0) 编辑
摘要: urllib包含的常用模块:import urllib.request # 打开和读取url请求import urllib.error # 异常处理模块import urllib.parse # url解析模块import urllib.robotparser # robots.txt解析模块""" 阅读全文
posted @ 2017-08-23 14:39 猪快跑 阅读(1603) 评论(0) 推荐(0) 编辑