随笔- 807
文章- 150
评论- 23
阅读-
151万
随笔分类 - NoSQL MongoDB 优化：配置、引擎
1
腾讯云MongoDB: skip查询内核优化（转载）
摘要：转载自：https://cloud.tencent.com/developer/article/1525137 背景 许多用户使用 MongoDB 存储用户的评论数据，并使用 find().skip().limit() 来实现“翻页”功能。 比如每页有100条评论，如果要跳转到第 10 页，可以通过
阅读全文
MongoDB主从复制介绍和常见问题说明（转载）
摘要：原文连接：https://cloud.tencent.com/developer/article/1592500 导语 在腾讯云MongoDB的运营过程中，发现较多用户对副本集主从复制流程的理解还有些偏差。这些偏差在一定程度上影响了应用程序设计和平时的运营。 本文会聚焦下面几个问题： 写大多数节点是
阅读全文
MongoDB Cluster 数据平衡优化
摘要：如果不了解 MongoDB Sharded Cluster 原理，请先阅读 MongoDB Sharded cluster架构原理 关于MongoDB Sharding，你应该知道的 关于 sharding 迁移，会分3个部分来介绍，本文为第三部分 负载均衡及迁移策略 chunk 迁移流程 Bala
阅读全文
MongoDB设计命名规范
摘要：1. 库 1. 库名全部小写，禁止使用任何`_`以外的特殊字符，禁止使用数字打头的库名，如：`123_abc`； 2. 库以文件夹的形式存在，使用特殊字符或其它不规范的命名方式会导致命名混乱； 3. 数据库名最多为64字符； 4. 在创建新的库前应尽量评估该库的体积、QPS等，提前与DBA讨论是应该
阅读全文
WiredTiger存储引擎之二：一个Page的生命周期(转载)
摘要：本系列文章将从逻辑正确、内容完整的角度全面介绍WiredTiger存储引擎。本篇作为WiredTiger存储引擎介绍系列文章第二篇，包含如下内容： Page的生命周期 Page的状态 Page相关参数与调优 通过第一篇介绍，我们了解到数据以page为单位加载到cache、cache里面又会生成各种不
阅读全文
MongoDB 在 58 同城百亿量级数据下的应用实践（转载）
摘要：58 同城作为中国最大的生活服务平台，涵盖了房产、招聘、二手、二手车、黄页等核心业务。58 同城发展之初，大规模使用关系型数据库（SQL Server、MySQL 等），随着业务扩展速度增加，数据量和并发量演变的越来越有挑战，此阶段 58 的数据存储架构也需要相应的调整以更好的满足业务快速发展的需求
阅读全文
MongoDB 3.0挂起原因？ WiredTiger实现：一个LRU cache深坑引发的分析
摘要：摘要: 从 MongoDB 3.0 版本引入 WiredTiger 存储引擎（以下称为 WT）以来，一直有同学反应在高速写入数据时 WT 引擎会间歇性写挂起，有时候写延迟达到了几十秒，这确实是个严重的问题。引起这类问题的关键在于 WT 的 LRU C ... 数据库 管理 模型 存储 Hadoop
阅读全文
MongoDB中WiredTiger的数据可用性设置
摘要：MongoDB中WiredTiger的数据可用性设置 此文已由作者温正湖授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 MongoDB中WiredTiger的参数配置主要通过 wiredtiger_open （http://source.wiredtiger.com/2.9
阅读全文
MongoDB WiredTiger 存储引擎cache_pool设计(转载)
摘要：1. MongoDB 多引擎体系 -- WiredTiger MongoDB v.3.0之前的版本，默认使用MMAP(MMap引擎)方式对内存中的数据进行写盘存储，遭受了很多诟病。比如并发受限的表锁、不支持压缩、不可控的IO操作等，MMAP甚至不能称作一个完整的存储引擎(笔者的个人观点)，对数据(B
阅读全文
MongoDB运维实战lsm降低Disk Lantency(转载)
摘要：背景 转载自：https://blog.51cto.com/suifu/2298684 Part1:写在最前 在副本集架构中，当我们面临写多读少，且大多数写为update操作时，WT引擎的瓶颈初显。这直接导致业务反馈写入操作耗时较久等异常。为此，Percona版本的MongoDB里支持rocksDB
阅读全文
mongodb chunk 大小设置一般原则
摘要：默认是64MB，取值范围是1 MB 到 1024 MB. 那修改会造成什么？下表简单总结： 在数据量很大的情况下，考虑网络带宽，如果发现带宽占满，可以考虑调小chunk size，这样migration造成的传输量会降低 在服务器硬件很好的情况下，比如我的服务器cpu 24 core, memory
阅读全文
Mongodb笔记09--手动预先分片
摘要：chunk： mongodb的分片不是从单篇文档的级别平均的散落在每个片上, 而是N条文档,形成一个块"chunk",优先放在某个片中,chunk的概念有些类似于数据库中的分区的概念。当chunk的大小达到了chunk size的指定大小后（默认是64M，可在config数据库中修改），或chunk
阅读全文
MongoDB sharding 集合不分片性能更高？
摘要：最近云上用户用户遇到一个 sharding 集群性能问题的疑惑，比较有代表性，简单分享一下 测试配置 mongos x 2、shard x 3 测试1：集合不开启分片，批量 insert 导入数据，每个 batch 100 个文档 测试2：集合开启分片，随机生成 shardKey，chunk 已提前
阅读全文
MongoDB compact 命令详解
摘要：为什么需要 compact 一图胜千言 remove 与 drop 的区别 MongoDB 里删除一个集合里所有文档，有两种方式 db.collection.remove({}, {multi: true})，逐个文档从 btree 里删除，最后所有文档被删除，但文件物理空间不会被回收 db.col
阅读全文
MongoDB疑难解析：为什么升级之后负载升高了？
摘要：本文是“我和MongoDB的故事”征文比赛的二等奖得主李鹏冲的文章。下面我们一起来欣赏下。 问题 近期线上一个三分片集群从 3.2 版本升级到 4.0 版本以后，集群节点的 CPU 的负载升高了很多（10% -> 40%）, 除了版本的升级，项目逻辑和操作量均无变化。关闭 Balancer 以后 C
阅读全文
MongoDB 数据量大于2亿后遇到的问题 及原因分析
摘要：一、数据增长情况 每月增长量最大达到了1.9亿，每天增长约300W-500W （增长数据具体可看页尾）二、遇到的情况及解决方法 1.数据量过大，并且都集中在一个表，所以此表数据插入变慢。 表索引越多越明显， 优化处理方法： 1.优化索引，以前的startTime日期字段索引， 修改为客户端用日期生成
阅读全文
MongoDB WiredTiger运行时参数优化
摘要：转载自：https://www.cnblogs.com/lijianming180/p/12256221.html MongoDB的WiredTiger存储引擎，用了一段时间，遇到了一些问题，通过优化WT参数，也解决了一些问题，做个小结。 cache_size 指定WT存储引擎内部cache的内存用
阅读全文
MongoDB 3.2.9 请求 hang 分析及 wiredtiger 调优
摘要：转载自：http://www.mongoing.com/archives/3675 MongoDB 3.2.9 版本在 wiredtiger 上做了很多改进，但不幸的时，这个版本引入了一个新的 bug，持续大量 insert/update 场景，有一定的可能导致 wiredtiger 进入 dead
阅读全文
百万级高并发MongoDB集群性能数十倍提升优化实践（上篇）
摘要：1. 背景 线上某集群峰值TPS超过100万/秒左右(主要为写流量，读流量很低)，峰值tps几乎已经到达集群上限，同时平均时延也超过100ms，随着读写流量的进一步增加，时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构，数据均衡的分布于各个分片中，添加片键启用分片功能后实现完美
阅读全文
OPPO百万级高并发mongodb集群性能数十倍提升优化实践(下篇) 转载
摘要：mongodb内核、wiredtiger存储引擎、rocksdb存储引擎相关源码分析详见(后续持续更新): https://github.com/y123456yz/reading-and-annotate-mongodb-3.6.1 前言 温馨提示：在进行本下篇优化文章阅读前，可以提前了解下《百万
阅读全文
1
