忘心

摘要： 1. mongdb和python交互的模块 pymongo 提供了mongdb和python交互的所有方法 安装方式: pip install pymongo 2. 使用pymongo 导入pymongo并选择要操作的集合 数据库和集合乜有会自动创建 from pymongo import Mong 阅读全文

摘要： 1. mongodb的索引 1.1 为什么mongdb需要创建索引 加快查询速度 进行数据的去重 加快查询速度 进行数据的去重 1.2 mongodb创建简单的索引方法 语法： db.集合.ensureIndex({属性:1})，1表示升序， -1表示降序 db.集合.createIndex({属性 阅读全文

摘要： 1. mongodb的聚合是什么 聚合(aggregate)是基于数据处理的聚合管道，每个文档通过一个由多个阶段（stage）组成的管道，可以对每个阶段的管道进行分组、过滤等功能，然后经过一系列的处理，输出相应的结果。 语法：db.集合名称.aggregate({管道:{表达式}}) 2. mong 阅读全文

摘要： 1. mongodb数据库的命令 查看当前的数据库：db 查看所有的数据库：show dbs /show databases 切换数据库：use db_name 删除当前的数据库：db.dropDatabase() 查看当前的数据库：db 查看所有的数据库：show dbs /show databa 阅读全文

摘要： mongodb的优势 易扩展： NoSQL数据库种类繁多， 但是⼀个共同的特点都是去掉关系数据库的关系型特性。 数据之间⽆关系， 这样就⾮常容易扩展 ⼤数据量， ⾼性能： NoSQL数据库都具有⾮常⾼的读写性能， 尤其在⼤数据量下， 同样表现优秀。 这得益于它的⽆关系性， 数据库的结构简单 灵活的数 阅读全文

摘要： 1. scrapy实现翻页请求 找到下一页的url地址 构造url地址的请求，传递给引擎 1.1 实现翻页请求 使用方法 在获取到url地址之后，可以通过scrapy.Request(url,callback)得到一个request对象，通过yield关键字就可以把这个request对象交给引擎 具 阅读全文

摘要： 1. scrapy项目实现流程 创建一个scrapy项目:scrapy startproject mySpider 生成一个爬虫:scrapy genspider 提取数据:完善spider，使用xpath等方法 保存数据:pipeline中保存数据 2. 创建scrapy项目 命令：scrapy 阅读全文

摘要： 1. 什么是scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。 Scrapy 使用了Twisted['twɪstɪd]异步网络框架，可以加快我们的下载速度。 文档地址：http://scrapy-chs.readthedoc 阅读全文

摘要： 1. xpath和lxml lxml是一款高性能的 Python HTML/XML 解析器，我们可以利用XPath，来快速的定位特定元素以及获取节点信息 2. 什么是xpath XPath (XML Path Language) 是一门在 HTML\XML 文档中查找信息的语言，可用来在 HTML\ 阅读全文

摘要： Scrapy_redis在scrapy的基础上实现了更多，更强大的功能,即：* 请求对象的持久化* 去重的持久化* 和实现分布式 scrapy_redis的流程在scrapy_redis中，所有的带抓取的对象和去重的指纹都存在所有的服务器公用的redis中所有的服务器公用一个redis中的reque 阅读全文

摘要： - 安装 解压: mongodb-win32-x86_64-2008plus-ssl-3.6.4.7z 将文件夹改名为mongodb 移动文件到指定目录下,如: C:\python\soft 打开C:\python\soft\mongodb目录 创建data目录 创建日志文件 log.txt 使用管 阅读全文