摘要: python的urllib模块提供了一系列操作url的功能,可以让我们通过url打开任意资源。其中比较常用的就是request模块,本篇主要介绍requset模块。 urllib子模块 urllib.request 打开或请求url urllib.error 捕获处理请求时产生的异常 urllib. 阅读全文
posted @ 2019-10-26 17:10 可爱的黑精灵 阅读(5706) 评论(0) 推荐(0) 编辑
摘要: 本篇以爬取爬取西刺代理为例,通过python爬取国内http代理IP及端口并存入csv文件。 抓取页面 我们通过urllib的urllib.request子模块来抓取页面信息 # 西刺国内HTTP代理第一页 url = 'https://www.xicidaili.com/wt' user_agen 阅读全文
posted @ 2019-10-26 14:25 可爱的黑精灵 阅读(719) 评论(0) 推荐(0) 编辑