随笔分类 -  mongodb

摘要:我们在使用 MongoDB 的时候,会出现需要给一个已经存在的大集合的某个字段增加索引的情况。 索引分为前台索引和后台索引,对应到 pymongo 中创建索引的代码: import pymongo handler = pymongo.MongoClient().yourdb.yourcol # 前台 阅读全文
posted @ 2020-11-22 22:01 阿布_alone 阅读(575) 评论(0) 推荐(0) 编辑
摘要:摘自:微信公众号:无量测试之道 1、MongoDB 高级操作 数据是随意构建的,大家在练习时可以自己创建,现有的数据为: > db.test.find(){ "_id" : ObjectId("5eecc55ec2e3725b5715931b"), "name" : "tony", "age" : 阅读全文
posted @ 2020-11-01 22:26 阿布_alone 阅读(126) 评论(0) 推荐(0) 编辑
摘要:一.联集合查询(mysql的跨表查询) 要主要搞清楚那个是主集合,哪个是被查集合 db.主集合.aggregate([ {$lookup: { from: "被查集合", localField: "主集合字段名", foreignField: "被查集合字段名", as: "保存查询的结果字段名” 阅读全文
posted @ 2020-06-24 22:48 阿布_alone 阅读(830) 评论(0) 推荐(0) 编辑
摘要:一.分组操作 关键字$group 1.和distinct去重的比较 db.getCollection("2020062401").distinct('姓名') 返回的是一个列表 使用¥group分组 db.getCollection("2020062401").aggregate([ { $grou 阅读全文
posted @ 2020-06-24 20:32 阿布_alone 阅读(2847) 评论(0) 推荐(0) 编辑
摘要:一.聚合查询就是流式的对数据处理,分成各个阶段 1.当聚合查询只有一个阶段就和find没有差别,如: 如果聚合有至少一个阶段, 那么每一个阶段都是一个字典。 不同的阶段负责不同的事情, 每一个阶段有一个关键字。 有专门负责筛选数据的阶段“$match”, 有专门负责字段相关的阶段“$project” 阅读全文
posted @ 2020-06-24 19:50 阿布_alone 阅读(743) 评论(0) 推荐(0) 编辑
摘要:一.嵌入式文档的查询 { "_id": 1, "user": { "name": "zhangsan", "user_id": 1, "age": 18 } } 直接用点取值就可以: db.getCollection('test').find({'user.age':{$gt:18}},{'_id' 阅读全文
posted @ 2020-06-24 00:18 阿布_alone 阅读(1456) 评论(0) 推荐(0) 编辑
摘要:对图7-1所示的数据集exampledata1,使用聚合操作实现以下功能: (1)不返回_id字段,只返回age和sex字段。 (2)所有age大于28的记录,只返回age和sex。 (3)在$match返回的字段中,添加一个新的字段“hello”,值为“world”。 (4)在$match返回的字 阅读全文
posted @ 2020-01-16 01:26 阿布_alone 阅读(520) 评论(0) 推荐(0) 编辑
摘要:1、使用工具Studio 3T for MongoDB 选择一个数据库中的Collections集合,然后按住 Ctrl+C 复制快捷键会弹出如下帮助框。 点击 Ctrl+V 粘贴快捷键,重命名一下复制的名称即可。 2、使用工具Robo 3T 在Collection中,右键选择复制Collectio 阅读全文
posted @ 2020-01-12 23:50 阿布_alone 阅读(9781) 评论(0) 推荐(1) 编辑
摘要:mongodb导入大文件的数据时,导入一小部分后,提示lost connect,失去连接。mongo文件有6.3G,网上查了一下,原来Mongo对单次处理好像有大小限制(16m),所以大文件会出问题,这应该是个Bug mongoimport 默认会10000条 为一个批量导入数据,解决方法是在导入的 阅读全文
posted @ 2020-01-05 01:30 阿布_alone 阅读(4856) 评论(1) 推荐(0) 编辑
摘要:no_cursor_timeout=True参数的使用 默认拿到cursor后,十分钟内不取数倨或者十分钟内每把数据取完,再继续取,会有timeout的的报错(所以针对取了数据做了很耗时的操作,在这边最好加上这个参数) 实例: import pymongo handler = pymongo.Mon 阅读全文
posted @ 2020-01-04 21:36 阿布_alone 阅读(693) 评论(0) 推荐(0) 编辑
摘要:MongoDB 版本 v4.0.7 系统 Win10 注意: 要为数据库创建用户,必须先切换到相应的数据库: 要为数据库创建用户,必须先切换到相应的数据库: 要为数据库创建用户,必须先切换到相应的数据库: #先切换 use 数据库名; #再创建 db.createUser({}) 超级管理员 设置 阅读全文
posted @ 2020-01-04 19:30 阿布_alone 阅读(2976) 评论(0) 推荐(0) 编辑
摘要:这里是在虚拟机环境下操作 1、MongoDB官网下载地址 https://www.mongodb.com/download-center?jmp=nav#community 2、下载MongoDB安装包 1、cd /usr/local/ 2、mkdir mongodb 3、cd mongodb/ 4 阅读全文
posted @ 2019-11-16 00:55 阿布_alone 编辑
摘要:一.在python3中操作mongodb 1.连接条件 安装好pymongo库 启动mongodb的服务端(如果是前台启动后就不关闭窗口,窗口关闭后服务端也会跟着关闭) 3.使用 二.爬取腾讯招聘 爬虫文件 # -*- coding: utf-8 -*- import scrapy from Ten 阅读全文
posted @ 2019-03-06 21:41 阿布_alone 阅读(391) 评论(0) 推荐(0) 编辑
摘要:一.mongodb简介 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似json的bso 阅读全文
posted @ 2019-03-04 21:37 阿布_alone 阅读(1176) 评论(0) 推荐(0) 编辑
摘要:一.下载 二.安装 1.自定义安装路径 2.取消install mongoDB compass,否则可能要很长时间都一直在执行安装,MongoDB Compass 是一个图形界面管理工具,我们可以在后面自己到官网下载安装,下载地址:https://www.mongodb.com/download-c 阅读全文
posted @ 2019-03-04 16:02 阿布_alone 阅读(500) 评论(0) 推荐(0) 编辑

TOP
点击右上角即可分享
微信分享提示