摘要： scrapy的crawlspider爬虫 学习目标： 了解 crawlspider的作用 应用 crawlspider爬虫创建的方法 应用 crawlspider中rules的使用 1 crawlspider是什么 回顾之前的代码中，我们有很大一部分时间在寻找下一页的url地址或者是内容的url地址 阅读全文

摘要： 13.Gerapy 学习目标 了解 什么是Gerapy 掌握 Gerapy的安装 掌握 Gerapy配置启动 掌握 通过Gerapy配置管理scrapy项目 1.Gerapy介绍: ​ Gerapy 是一款 分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapy 阅读全文

摘要： scrapyd部署scrapy项目 学习目标 了解 scrapyd的使用流程 1. scrapyd的介绍 scrapyd是一个用于部署和运行scrapy爬虫的程序，它允许你通过JSON API来部署爬虫项目和控制爬虫运行，scrapyd是一个守护进程，监听爬虫的运行和请求，然后启动进程来执行它们 所 阅读全文

摘要： scrapy的日志信息与配置 学习目标： 了解 scrapy的日志信息 掌握 scrapy的常用配置 掌握 scrapy_redis配置 了解scrapy_splash配置 了解scrapy_redis和scrapy_splash配合使用的配置 1. 了解scrapy的日志信息 2. scrapy的 阅读全文

摘要： scrapy_splash组件的使用 学习目标 了解 scrapy_splash组件的作用 了解 scrapy_splash组件的使用 1. 什么是scrapy_splash？ scrapy_splash是scrapy的一个组件 scrapy-splash加载js数据是基于Splash来实现的。 S 阅读全文

摘要： mongodb和python交互 学习目标 掌握 mongdb和python交互的增删改查的方法 掌握 权限认证的方式使用pymongo模块 1. mongdb和python交互的模块 pymongo 提供了mongdb和python交互的所有方法 安装方式: pip install pymongo 阅读全文

摘要： Mongodb的权限管理 学习目标 1.了解 mongodb的权限管理 1. 为什么要进行权限管理的设置 刚安装完毕的mongodb默认不使用权限认证方式启动，与MySQL不同，mongodb在安装的时候并没有设置权限，然而公网运行系统需要设置权限以保证数据安全，所以我们要学习mongodb的权限管 阅读全文

摘要： Mongodb的索引操作 学习目标 掌握 mongodb索引的创建，删除操作 掌握 mongodb查看索引的方法 掌握 mongodb创建唯一索引的方法 1. 为什么mongdb需要创建索引 加快查询速度 进行数据的去重 2. mongodb创建简单的索引方法 语法：db.集合名.ensureInd 阅读全文

摘要： JS的解析 学习目标： 了解 定位js的方法 了解 添加断点观察js的执行过程的方法 应用 js2py获取js的方法 1 确定js的位置 对于前面人人网的案例，我们知道了url地址中有部分参数，但是参数是如何生成的呢？ 毫无疑问，参数肯定是js生成的，那么如何获取这些参数的规律呢？通过下面的学习来了 阅读全文

摘要： selenium的其它使用方法 知识点： 掌握 selenium控制标签页的切换 掌握 selenium控制iframe的切换 掌握 利用selenium获取cookie的方法 掌握 手动实现页面等待 掌握 selenium控制浏览器执行js代码的方法 掌握 selenium开启无界面模式 了解 s 阅读全文