01 2019 档案
摘要：一、下载 二、解压 三、配置 四、环境变量 五、安装MySQL服务 六、启动MySQL服务 七、停止MySQL 一、下载 第一步：打开网址，https://www.mysql.com，点击downloads之后跳转到https://www.mysql.com/downloads 第二步 ：跳转至网址
阅读全文
摘要：scrapy框架之持久化操作 基于终端指令的持久化存储 基于管道的持久化存储 1 基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。 以爬取糗事百科(https://www.qius
阅读全文
摘要：1，下载Redis，这里打算使用3.0的版本 下载地址：http://redis.io/download 需要注意的是，windows版本的redis只支持64位操作系统，其他的就不要考虑了 2，将下载下来的压缩包解压，例如：将 Redis-x64-3.0.500.zip 解压到 D:\reids\
阅读全文
摘要：一 什么是scrapy框架 官方解释 自己理解 二 scrapy框架的安装 三 基本使用 步骤: 1 创建工程 2 进去第二层目录--创建爬虫应该程序 3 编写爬虫文件 4 修改setting文件 5 执行爬虫 具体: 1 创建工程 2 进去第二层目录--创建爬虫应该程序 3 编写爬虫文件--在执行
阅读全文
摘要：selenuim和phantonJs处理网页动态加载数据的爬取 一 图片懒加载 自己理解 就是在打开一个页面的时候,图片数量特别多,图片加载会增加服务器的压力,所以我们在这个时候,就会用到 懒加载,,网页解析是从上往下的。在解析的过程里，如果遇见资源了，浏览器会再次请求的。但是一个网页可能存在很多请
阅读全文
