摘要：
监控配置 kafka基本分为broker、producer、consumer三个子项，每一项的启动都需要用到 $KAFKA_HOME/bin/kafka run class.sh 脚本，在该脚本中，存在以下语句： 在启动kafka的过程中，只要指定 JMX_PORT 的值，即可对broker 阅读全文
摘要：
需求说明 编写背景 此手册的基础在于对 "《jmxtrans + influxdb + granafa 监控套件使用手册》" 的熟悉和使用。本手册仅介绍以下几项： OpenTSDB 的配置安装 对 json 文件的配置使其可以将数据导入OpenTSDB grafana 对OpenTSDB 数据源的看 阅读全文
摘要：
需求说明 随着大数据组件的日益完善，需要随时随地保持各个组件的日常运行，对各个组件的监控势在必行。为了减少运维部门的负担，通过筛选，我们使用 jmxtrans + influxdb + granafa 套件对各个组件进行监控。 Jmxtrans：JMX可以对外暴露jvm内部的一些指标，但是要获取那些 阅读全文
摘要：
配置监控 1. 修改flume.env.sh 2. 使用以下脚本 指标项整理 OS监控项 | objectName | 指标项 | 说明 | | | | | | java.lang:type=OperatingSystem | FreePhysicalMemorySize | 空闲物理内存 | | 阅读全文
摘要：
配置 修改$HADOOP_HOME/etc/hadoop/hadoop env.sh web页面查看 | IP | 访问地址 | | | | | 192.168.20.10 | http://dev01:50070/jmx | | 192.168.20.11 | http://dev02:50075 阅读全文
摘要：
名词解释 JMX：Java Management Extensions，用于用于Java程序扩展监控和管理项 GC：Garbage Collection，垃圾收集，垃圾回收机制 指标项来源 |主机名|url| | | | |192.168.20.10|http://192.168.20.10:600 阅读全文
摘要：
Spark优化配置 1. 添加外包路径 1.1 1.2 spark submit时配置参数 2. spark submit时的参数配置 Kafka+Scala的参数配置 1. auto.offset.reset值含义解释 earliest 当各分区下有已提交的offset时，从提交的offset开始 阅读全文
摘要：
启动相关 数据库命令 1、Help查看命令提示 help db.help(); db.yourColl.help(); db.youColl.find().help(); rs.help(); 2、切换/创建数据库 use yourDB; 当创建一个集合(table)的时候会自动创建当前数据库 3、 阅读全文
摘要：
简介 在使用 Java 对数据库进行连接时，都会获取到一个 cursor ，cursor 实际指到的是我们查询数据库的query，而并不是 query 查询到的数据集。 此次在使用 mongo 的 cursor 的过程中，对线上数据库产生了很大压力，在这里对此次的优化过程进行记录。 场景 数据源：M 阅读全文
摘要：
概念 rs中存储了每一次对mongo数据库的CUD操作，对rs的大小进行resize. 主要有两种方法： 1. 在未开启过rs的情况下，修改配置文件 2. 已使用rs一段时间后，发现rs太大，重新进行大小配置 启动 默认启动 配置文件启动 rs启动 修改配置文件 修改opLog大小 修改的过程主要分 阅读全文