随笔- 807
文章- 150
评论- 23
阅读-
151万
03 2020 档案
MongoDB 3.6用户白名单(转载)
摘要:MongoDB 3.6 Authentication IP Restrictions 前言 好了,看了这个标题,我不知道你有没有一种潜意识,如果有,没错,那就是这个了,MongoDB 终于开放了我觉得对于一个数据库的安全来说,比较重要的一个模块了 IP 白名单。 众所周知,MySQL、Oracle、
阅读全文
MongoDB中WiredTiger的数据可用性设置
摘要:MongoDB中WiredTiger的数据可用性设置 此文已由作者温正湖授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 MongoDB中WiredTiger的参数配置主要通过 wiredtiger_open (http://source.wiredtiger.com/2.9
阅读全文
Mongodb 新版配置文件详解(转载)
摘要:mongod.conf $ vi /etc/mongod.conf 手册 https://docs.mongodb.com/manual/reference/configuration-options https://docs.mongodb.com/manual/reference/paramet
阅读全文
MongoDB 启动后告警
摘要:在系统上安装mongodb之后报错。 (安装教程地址: https://docs.mongodb.com/master/tutorial/install-mongodb-on-red-hat/) 错误信息: WARNING: /sys/kernel/mm/transparent_hugepage/e
阅读全文
MongoDB 安装部署需求(官方文档)
摘要:生产平台特定注意事项 https://docs.mongodb.com/manual/administration/production-notes/#prod-notes-ram 1、推荐平台 虽然MongoDB支持多种平台,但建议生产使用以下操作系统:亚马逊Linux 2Debian 9和10R
阅读全文
MongoDB 集合上限说明
摘要:官方网站有关于这个问题的说明(Using a Large Number of Collections)。默认情况下,MongoDB 的每个数据库的命名空间保存在一个 16MB 的 .ns 文件中,平均每个命名占用约 628 字节,也即整个数据库的命名空间的上限约为 24000。 每一个集合、索引都将
阅读全文
MongoDB mtools-你可能没用过的mongodb神器(转载)
摘要:前言mtools是什么可以做什么1. 简易集群管理2. 日志统计3. 日志过滤4. 图表呈现如何安装参考文档 前言 接触 mongodb 已经有一段时间了,从一开始的不了解,到现在已慢慢适应这个nosql领域的佼佼者,还是经历了不少波折。 众所周知的是,mongodb不是关系型数据库,不遵循经典的"
阅读全文
Redis 你知道 Redis 的字符串是怎么实现的吗?(转载)
摘要:之前本人在找工作面试时在Redis相关问题上可栽了跟头。在面试前按常规套路准备了一下,比如 Redis 的常用5种数据结构,Redis持久化策略,Redis实现分布式锁,简单发布订阅等等都准备了,当时不知天高地厚以为十拿九稳了,可是万万没想到我终究还是在Redis的被问的第一个问题上翻船了~~ 面试
阅读全文
Mongoimport 导数据自动去重
摘要:-upsert --upsertFields 可以实现mongodb按照指定字段去重,但是导入数据很慢 mongoimport --host 127.0.0.0.1 --port 27017 --username root --password root --collection info --db
阅读全文
MongoDB 数据类型
摘要:MongoDB以BSON一种序列化的二进制格式存储数据。在每个序列化之前的文档又支持以下列表中的数据类型,每种数据类型都有一个对应的数字和字符串别名。可以用在$type操作符中用于查询文档 数据类型: TypeNumberStringNotes Double 1 "double" 字符串 2 "st
阅读全文
MongoDB 数据类型整理
摘要:1字节=8位(1 byte = 8bit) ObjectId 是一个12字节 BSON 类型数据 12byte 12*8=96bit 96位 时间戳"timestamp" 64bit 8byte BSON Date是一个64bit有符号整数,表示自Unix纪元以来的毫秒数(1970年1月1日) 8b
阅读全文
MongoDB 空值数组查询
摘要:mongdb非空数组查询 db.idap_zl.insert({array:[]}) db.idap_zl.insert({array:[1,2,3,4,5]}) db.idap_zl.find({array:{$elemMatch:{$ne:null}}}) 一、elemMatch和elemMat
阅读全文
MongoDB WiredTiger 存储引擎cache_pool设计(转载)
摘要:1. MongoDB 多引擎体系 -- WiredTiger MongoDB v.3.0之前的版本,默认使用MMAP(MMap引擎)方式对内存中的数据进行写盘存储,遭受了很多诟病。比如并发受限的表锁、不支持压缩、不可控的IO操作等,MMAP甚至不能称作一个完整的存储引擎(笔者的个人观点),对数据(B
阅读全文
MongoDB运维实战lsm降低Disk Lantency(转载)
摘要:背景 转载自:https://blog.51cto.com/suifu/2298684 Part1:写在最前 在副本集架构中,当我们面临写多读少,且大多数写为update操作时,WT引擎的瓶颈初显。这直接导致业务反馈写入操作耗时较久等异常。为此,Percona版本的MongoDB里支持rocksDB
阅读全文
mongodb chunk 大小设置一般原则
摘要:默认是64MB,取值范围是1 MB 到 1024 MB. 那修改会造成什么?下表简单总结: 在数据量很大的情况下,考虑网络带宽,如果发现带宽占满,可以考虑调小chunk size,这样migration造成的传输量会降低 在服务器硬件很好的情况下,比如我的服务器cpu 24 core, memory
阅读全文
Mongodb笔记09--手动预先分片
摘要:chunk: mongodb的分片不是从单篇文档的级别平均的散落在每个片上, 而是N条文档,形成一个块"chunk",优先放在某个片中,chunk的概念有些类似于数据库中的分区的概念。当chunk的大小达到了chunk size的指定大小后(默认是64M,可在config数据库中修改),或chunk
阅读全文
MongoDB sharding 集合不分片性能更高?
摘要:最近云上用户用户遇到一个 sharding 集群性能问题的疑惑,比较有代表性,简单分享一下 测试配置 mongos x 2、shard x 3 测试1:集合不开启分片,批量 insert 导入数据,每个 batch 100 个文档 测试2:集合开启分片,随机生成 shardKey,chunk 已提前
阅读全文
MongoDB compact 命令详解
摘要:为什么需要 compact 一图胜千言 remove 与 drop 的区别 MongoDB 里删除一个集合里所有文档,有两种方式 db.collection.remove({}, {multi: true}),逐个文档从 btree 里删除,最后所有文档被删除,但文件物理空间不会被回收 db.col
阅读全文
MongoDB 分片管理
摘要:背景: 通过上一篇的 MongoDB 分片的原理、搭建、应用 大致了解了MongoDB分片的安装和一些基本的使用情况,现在来说明下如何管理和优化MongoDB分片的使用。 知识点: 1) 分片的配置和查看 ① 添加分片:sh.addShard("IP:Port") mongos> sh.addSha
阅读全文
Oracle 定时运行存储调度 schedule job,传递参数 (转载)
摘要:1. 首先创建好相应的procedure。此处略过。假设procedure的名字是 P1,P1跑的时候需要传递参数。参数为当前日期的前一天。2.oracle 10g开始推出的 schedule更强大,更精确。以往的job还可继续使用。先来看个例子: begin dbms_scheduler.crea
阅读全文