随笔分类 - 5.数据库中间件
摘要：一、简介 Mongodb复制集由一组Mongod实例（进程）组成，包含一个Primary节点和多个Secondary节点。 Mongodb Driver（客户端）的所有数据都写入Primary，Secondary从Primary同步写入的数据，以保持复制集内所有成员存储相同的数据集，实现数据的高可用
阅读全文
摘要：案例目标 简单介绍 redis pipeline 的机制，结合一段实例说明pipeline 在提升吞吐量方面发生的效用。 案例背景 应用系统在数据推送或事件处理过程中，往往出现数据流经过多个网元； 然而在某些服务中，数据操作对redis 是强依赖的，在最近的一次分析中发现： 一次数据推送会对 red
阅读全文
摘要：简介 针对Redis 实现性能监控的几种方法 一、使用info命令 命令说明 指标说明 Server 指通用的服务器信息，包括版本号、监听端口、进程ID等 Clients 指客户端信息，包括接入数量、阻塞数量等 Memory 内存信息，包括虚拟内存、物理内存、碎片比例(rss/used)等 Pers
阅读全文
摘要：背景 mongodb 提供了类sql的数据查询及操作方式，同时也包含了聚合操作、索引等多个机制； 按以往的经验，不当的库表操作或索引模式往往会造成许多问题，如查询操作缓慢、数据库吞吐量低下、CPU或磁盘IO飙升等问题。 因此在应用开发过程中，有必要对DB操作进行审视，尤其是关键业务或复杂条件查询。m
阅读全文
摘要：列举mongodb监控的常用命令 1.监控统计 mongostat 可用于查看当前QPS/内存使用/连接数，以及多个shard的压力分布 命令参考 参数说明 discover 提供集群中所有节点的状态 n 30 3 表示输出30次，每次休眠3秒钟 输出示例 指标说明 |指标名|说明| | | | |
阅读全文
摘要：[TOC] 一、Mongodb 的权限管理 认识权限管理，说明主要概念及关系 与大多数数据库一样，Mongodb同样提供了一套权限管理机制。 为了体验Mongodb 的权限管理，我们找一台已经安装好的Mongodb，可以 "参照这里" 搭建一个单节点的Mongodb。 直接打开mongo shell
阅读全文
摘要：mongo单节点环境安装(linux) 安装包 下载地址： (https://www.mongodb.com/download center) 用户权限/目录 1. 创建 dbuser用户 2. 部署目录 3. 解压安装包 conf 作为配置文件目录 data 作为数据文件目录 log 作为日志文件
阅读全文
摘要：rabbitmq 重复确认导致消息丢失 背景 rabbitmq 在应用场景中，大多采用工作队列 work-queue的模式。 在一个常见的工作队列模式中，消费者 worker 将不断的轮询从队列中拉取最新消息，当队列负载压力增大时允许添加多个worker 进行处理。然而执行一个任务可能需要相当的时长
阅读全文
摘要：Mosquitto 基础准备 安装基础软件 yum install gcc-c++ yum install cmake yum install openssl-devel //mosquitto默认支持openssl yum install gcc-c++ yum install cmake yum
阅读全文
摘要：最近的研发机器需要部署多个环境，包括数据库。为了管理方便考虑将mysql数据库进行隔离，即采用单机多实例部署的方式。找了会资料发现用的人也不是太多，一般的生产环境为了充分发挥机器性能都是单机单实例运行，再进行一系列的配置调优.. 多实例的运行机制 通过mysqld_multi启动多个mysqld实例
阅读全文
摘要：背景 nginx的日志文件没有rotate功能。一段时间过后，日志将越发臃肿，一个accesslog很快就突破1G，因此有必要通过脚本实现按天切割日志。 解决思路 1 重命名日志文件，如更改为access_yyyyMMdd.log，需注意的是nginx通过文件描述符定位日志文件，因此在重命名之后还是
阅读全文
摘要：问题 create table: Specified key was too long; max key length is 767 bytes 原因 数据库表采用utf8编码，其中varchar(255)的column进行了唯一键索引 而mysql默认情况下单个列的索引不能超过767位(不同版本可
阅读全文
