摘要：
俗话说，没有监控的系统就是在裸奔，好的监控就是运维人员的第三只手，第三只眼。本文将使用prometheus及Grafana搭建一套监控系统来监控主机及数据库（MySQL、Redis）。 1. 安装Grafana Grafana是一个可视化面板(Dashboard),有着非常漂亮的图表和布局展示,功能 阅读全文
摘要：
ranger大数据领域的一个集中式安全管理框架，它可以对诸如hdfs、hive、kafka、storm等组件进行细粒度的权限控制。本文将介绍部署过程 1. 部署准备 ranger: 进入apach官网下载 http://ranger.apache.org/download.html， 本次使用的是r 阅读全文
摘要：
1. 啥情况呀 测试环境机器磁盘空间不足的告警打破了下午的沉寂，一群人开始忙活着删数据。但是，不久前刚清理了一波数据，测试环境在没做压测的情况下不至于短短一个月不到就涨了200G数据，于是，我悄悄的进入数据目录下，发现一个不寻常的点，ibtmp1文件有192G 2. 怎么处理 2.1 简单说明 ib 阅读全文
摘要：
1. 背景 例如，存在一套redis主从（主从节点在不同的主机上）,应用程序通过主库的ip进行读写操作。 但是，主库一旦出现故障，虽然有从库，且从库提升为主库，但是应用程序如果想使用从库则必须修改配置，重启应用方可生效。如用此情况，则涉及的人员比较多，且应用程序恢复使用的时间比较长。对于此情况，可以 阅读全文
摘要：
PostgreSQL是一个功能强大的开源对象关系数据库管理系统(ORDBMS)，在开源数据库使用上与MySQL各领风骚。但也有不少人质疑postgresql的未来，正所谓，赞扬或批判一种数据库都必须先了解它，然后才可有话语权。为了更多的了解postgresql,我们就先部署一套实例作为了解它的基础。 阅读全文
摘要：
目前最流行的大数据查询引擎非hive莫属，它是基于MR的类SQL查询工具，会把输入的查询SQL解释为MapReduce，能极大的降低使用大数据查询的门槛， 让一般的业务人员也可以直接对大数据进行查询。但因其基于MR，运行速度是一个弊端，通常运行一个查询需等待很久才会有结果。对于此情况，创造了hive 阅读全文
摘要：
近期，测试环境出现了一次MySQL数据库不断自动重启的问题，导致的原因是强行kill -9 杀掉数据库进程导致，报错信息如下： 1. 初探过程 之前出现过类似的情况时，是因为内存不足，因日志中也有对应的提示： 此测试环境物理内存确实不大，且剩余内存也不足，而且是作为另一个测试环境的从库，内存分配的也 阅读全文
摘要：
今天巡检时突然发现有很多锁等待超时的情况，原以为是一个简单的小事，一查，结果令人深思。 1. 问题现象 发现日志中出现了大量的 ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction 错误 2. 排查过程 阅读全文
摘要：
每天都在跟 mysql 打交道，你知道执行一条简单的 select 语句，都经历了哪些过程吗？ 首先，mysql 主要是由 server 层和存储层两部分构成的。server 层主要包括连接器、查询缓存，分析器、优化器、执行器。存储层主要是用来存储和查询数据的，常用的存储引擎有 InnoDB、MyI 阅读全文
摘要：
1. 依赖包安装 2. 安装包准备 可以从官网 https://redis.io下载最新版redis 3. 编译、安装 4. 创建目录、修改配置文件、启动redis 建议创建单独的redis目录 注： a) 如果未安装依赖包，将有如下错误 处理方法即按第一步 安装依赖包即可 2) make过程中出现 阅读全文