MongoDB 的内存使用限制
本文将简述一下MongoDB的内存限制问题
1. 使用Docker限制
当我们使用docker创建mongo 容器时,可通过使用以下参数,对mongo可以使用的资源进行限制
内存限制
参数 简介 -m, - -memory 内存限制,格式:数字+单位,单位可以是b, k, m, g,最小4M -- -memory-swap 内存和交换空间总大小限制,注意:必须比-m参数大 -m 和 --memory-swap
docker run -it --rm -m 100M --memory-swap -1 ubuntu-stress:latest /bin/bash
指定限制内存大小并且设置 memory-swap 值为 -1,表示容器程序使用内存受限,而 swap 空间使用不受限制(宿主 swap 支持使用多少则容器即可使用多少。如果 --memory-swap 设置小于 --memory则设置不生效,使用默认设置)。
docker run -it --rm -m 100M --memory-swap -1 centos /bin/bash
按照官方文档的理解,如果指定 -m 内存限制时不添加 --memory-swap 选项,则表示容器中程序可以使用 100M 内存和 100M swap 内存。默认情况下,–memory-swap 会被设置成 memory 的 2倍。
–memory-swappiness=0
表示禁用容器 swap 功能(这点不同于宿主机,宿主机 swappiness 设置为 0 也不保证 swap 不会被使用):
docker run -it --rm -m 100M --memory-swappiness=0 ubuntu-stress:latest /bin/bash
–memory-reservation
选项可以理解为内存的软限制。如果不设置 -m 选项,那么容器使用内存可以理解为是不受限的。按照官方的说法,memory reservation 设置可以确保容器不会长时间占用大量内存。
–oom-kill-disable
docker run -it --rm -m 100M --memory-swappiness=0 --oom-kill-disable ubuntu-stress:latest /bin/bash
–kernel-memory
内核内存与用户内存根本不同,因为内核内存无法换出。无法交换使容器可能通过占用过多的内核内存来阻止系统服务。内核内存包括:
- stack pages
- slab pages
- sockets memory pressure
- tcp memory pressure
如果无特殊需求,kernel-memory 一般无需设置,这里不作过多说明。
CPU限制
参数 简介 -- -cpuset-cpus="" 允许使用的CPU集 -c,- -cpu-shares=0 CPU共享权值 -- -cpu-quota=0 限制CPU CFS配额,必须不小于1ms,即>=1000 cpu-period=0 限制CPU CFS调度周期,范围是100ms~1s,即[1000, 1000000] sudo docker run -ti --cpuset-cpus="1,3" --name cpuset [镜像名称:版本] bash
比如上面的指令指定容器进程可以在 CPU1 和 CPU3 上运行
2. 通过修改MongoDB的配置文件限制其可以使用的内存
MongoDB的内存限制参数配置:
3.X: /etc/mongod.conf
4.X: /etc/mongod.conf.orig
常用基本配置文件参数
storage:
# mongod 进程存储数据目录,此配置仅对 mongod 进程有效
dbPath: /data/mongodb/db
是否开启 journal 日志持久存储,journal 日志用来数据恢复,是 mongod 最基础的特性,通常用于故障恢复。64 位系统默认为 true,32 位默认为 false,建议开启,仅对 mongod 进程有效。
journal:
enabled: true
# 存储引擎类型,mongodb 3.0 之后支持 “mmapv1”、“wiredTiger” 两种引擎,默认值为“mmapv1”;官方宣称 wiredTiger 引擎更加优秀。
engine: mmapv1
systemLog:
# 日志输出目的地,可以指定为 “file” 或者“syslog”,表述输出到日志文件,如果不指定,则会输出到标准输出中(standard output)
destination: file
# 如果为 true,当 mongod/mongos 重启后,将在现有日志的尾部继续添加日志。否则,将会备份当前日志文件,然后创建一个新的日志文件;默认为 false。
logAppend: true
# 日志路径
path: /var/log/mongodb/mongod.log
net:
# 指定端口
port: 27017
# 绑定外网 op 多个用逗号分隔
bindIp: 0.0.0.0
maxIncomingConnections: 10000
内存优化相关的配置
MongoDB 在使用过程中, 内存占用会越来越大, 甚至达到危险的状态, 而且会一直保持最高状态, 官网上有相关的内容:https://docs.mongodb.com/v3.4/core/wiredtiger/index.html 以下根据官网, 增加限制内存的配置, 启动mongo使用配置文件启动
storage:
dbPath: /data/mongodb/db
journal:
enabled: true
engine: wiredTiger
# 如下配置仅对 wiredTiger 引擎生效(3.0 以上版本)
wiredTiger:
# wiredTiger 缓存工作集(working set)数据的内存大小,单位:GB
# 此值决定了 wiredTiger 与 mmapv1 的内存模型不同,它可以限制 mongod 对内存的使用量,而 mmapv1 则不能(依赖于系统级的 mmap)。默认情况下,cacheSizeGB 的值为假定当前节点只部署一个 mongod 实例,此值的大小为物理内存的一半;如果当前节点部署了多个 mongod 进程,那么需要合理配置此值。如果 mongod 部署在虚拟容器中(比如,lxc,cgroups,Docker)等,它将不能使用整个系统的物理内存,则需要适当调整此值。默认值为物理内存的一半。
engineConfig:
cacheSizeGB: 5
systemLog:
destination: file
logAppend: true
path: /var/log/mongodb/mongod.log
net:
port: 27017
bindIp: 0.0.0.0
maxIncomingConnections: 10000
参考链接