忘心

摘要： 1.准备工作 终端 网络状况良好 2.安装虚拟环境 ​ 如何安装虚拟环境： ​ 2.1了解你的电脑中有哪些版本的python whereis python 查看当前系统中有多少跟python有关的命令直接进入/usr/bin 查看有多少以python开头的命令 ll python* ​ 2.2安装虚 阅读全文

摘要： 1.你听过虚拟环境么？ 虚拟：即不真实 环境：即周围的条件 那么到底什么事虚拟环境呢 2.虚拟环境 它是一个虚拟化，从电脑独立开辟出来的环境。通俗的来讲，虚拟环境就是借助虚拟机docker来把一部分内容独立出来，我们把这部分独立出来的东西称作“容器”，在这个容器中，我们可以只安装我们需要的依赖包，各 阅读全文

摘要： 1. mongdb和python交互的模块 pymongo 提供了mongdb和python交互的所有方法 安装方式: pip install pymongo 2. 使用pymongo 导入pymongo并选择要操作的集合 数据库和集合乜有会自动创建 from pymongo import Mong 阅读全文

摘要： 1. mongodb的索引 1.1 为什么mongdb需要创建索引 加快查询速度 进行数据的去重 加快查询速度 进行数据的去重 1.2 mongodb创建简单的索引方法 语法： db.集合.ensureIndex({属性:1})，1表示升序， -1表示降序 db.集合.createIndex({属性 阅读全文

摘要： mongodb的优势 易扩展： NoSQL数据库种类繁多， 但是⼀个共同的特点都是去掉关系数据库的关系型特性。 数据之间⽆关系， 这样就⾮常容易扩展 ⼤数据量， ⾼性能： NoSQL数据库都具有⾮常⾼的读写性能， 尤其在⼤数据量下， 同样表现优秀。 这得益于它的⽆关系性， 数据库的结构简单 灵活的数 阅读全文

摘要： 1. mongodb数据库的命令 查看当前的数据库：db 查看所有的数据库：show dbs /show databases 切换数据库：use db_name 删除当前的数据库：db.dropDatabase() 查看当前的数据库：db 查看所有的数据库：show dbs /show databa 阅读全文

摘要： 1. mongodb的聚合是什么 聚合(aggregate)是基于数据处理的聚合管道，每个文档通过一个由多个阶段（stage）组成的管道，可以对每个阶段的管道进行分组、过滤等功能，然后经过一系列的处理，输出相应的结果。 语法：db.集合名称.aggregate({管道:{表达式}}) 2. mong 阅读全文

摘要： 1. scrapy实现翻页请求 找到下一页的url地址 构造url地址的请求，传递给引擎 1.1 实现翻页请求 使用方法 在获取到url地址之后，可以通过scrapy.Request(url,callback)得到一个request对象，通过yield关键字就可以把这个request对象交给引擎 具 阅读全文

摘要： 1. scrapy项目实现流程 创建一个scrapy项目:scrapy startproject mySpider 生成一个爬虫:scrapy genspider 提取数据:完善spider，使用xpath等方法 保存数据:pipeline中保存数据 2. 创建scrapy项目 命令：scrapy 阅读全文

摘要： 1. 什么是scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。 Scrapy 使用了Twisted['twɪstɪd]异步网络框架，可以加快我们的下载速度。 文档地址：http://scrapy-chs.readthedoc 阅读全文