摘要：
第三百二十四节，web爬虫，scrapy模块介绍与使用 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amaz 阅读全文
摘要：
第三百二十三节，web爬虫，scrapy模块以及相关依赖模块安装 当前环境python3.5 ，windows10系统 Linux系统安装 在线安装，会自动安装scrapy模块以及相关依赖模块 手动源码安装，比较麻烦要自己手动安装scrapy模块以及依赖模块 安装以下模块 1、lxml-3.8.0. 阅读全文
摘要：
第三百二十二节，web爬虫，requests请求 requests请求，就是用yhthon的requests模块模拟浏览器请求，返回html源码 模拟浏览器请求有两种，一种是不需要用户登录或者验证的请求，一种是需要用户登录或者验证的请求 一、不需要用户登录或者验证的请求 这种比较简单，直接利用req 阅读全文