摘要: 第三百二十九节,web爬虫讲解2—urllib库爬虫—ip代理 使用IP代理 ProxyHandler()格式化IP,第一个参数,请求目标可能是http或者https,对应设置build_opener()初始化IPinstall_opener()将代理IP设置成全局,当使用urlopen()请求时自 阅读全文
posted @ 2017-07-26 22:11 林贵秀 阅读(372) 评论(0) 推荐(0) 编辑
摘要: 第三百二十八节,web爬虫讲解2—urllib库爬虫—状态吗—异常处理—浏览器伪装技术、设置用户代理 如果爬虫没有异常处理,那么爬行中一旦出现错误,程序将崩溃停止工作,有异常处理即使出现错误也能继续执行下去 1.常见状态吗 301:重定向到新的URL,永久性302:重定向到临时URL,非永久性304 阅读全文
posted @ 2017-07-26 17:09 林贵秀 阅读(360) 评论(0) 推荐(0) 编辑