摘要: URL编码与解码 一.parse.urlencode() 与parse.unquote() urllib 和urllib.request都是接受URL请求的相关模块,但是提供了不同的功能。两个最显著的不同如下: 1.urllib 仅可以接受URL,不能创建 设置了headers 的Request 类 阅读全文
posted @ 2018-05-14 11:19 听海8 阅读(5243) 评论(0) 推荐(0) 编辑
摘要: Python3环境安装Scrapy爬虫框架过程 1. 安装wheel pip install wheel 安装检查: 2. 安装lxml pip install lxml-4.2.1-cp36-cp36m-win_amd64.whl 去https://www.lfd.uci.edu/~gohlke/ 阅读全文
posted @ 2018-05-14 10:38 听海8 阅读(793) 评论(0) 推荐(1) 编辑
摘要: Python3 response响应常用的方法 例子一:获取HTTP请求响应码 import urllib.request header={"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, li 阅读全文
posted @ 2018-05-14 10:20 听海8 阅读(4223) 评论(0) 推荐(0) 编辑
摘要: Python3爬虫介绍 一.为什么要做爬虫 首先请问:都说现在是"大数据时代",那数据从何而来? 企业产生的用户数据:百度指数、阿里指数、TBI腾讯浏览指数、新浪微博指数 数据平台购买数据:数据堂、国云数据市场、贵阳大数据交易所 政府/机构公开的数据:中华人民共和国国家统计局数据、世界银行公开数据、 阅读全文
posted @ 2018-05-14 10:15 听海8 阅读(2278) 评论(0) 推荐(0) 编辑
摘要: Python3 urllib.request库的基本使用 所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。 在Python中有很多库可以用来抓取网页,我们先学习urllib.request库。 urllib.request库 是 Python3 自带的模块(不需要下载, 阅读全文
posted @ 2018-05-14 10:10 听海8 阅读(1571) 评论(0) 推荐(0) 编辑