摘要：
下载 从 "下载地址" 下下载以下对应hbase版本的版本: phoenix 4.7.0 HBase 1.0/bin/phoenix 4.7.0 HBase 1.0 bin.tar.gz 安装部署 1. 解压 2. 修改${HBASE_HOME}/conf/hbase site.xml 3. 拷贝p 阅读全文
摘要：
监控配置 spark的监控主要分为Master、Worker、driver、executor监控。Master和Worker的监控在spark集群运行时即可监控，Driver和Excutor的监控需要针对某一个app来进行监控。 如果都要监控，需要根据以下步骤来配置 1. 修改$SPARK_HOME 阅读全文
摘要：
监控配置 kafka基本分为broker、producer、consumer三个子项，每一项的启动都需要用到 $KAFKA_HOME/bin/kafka run class.sh 脚本，在该脚本中，存在以下语句： 在启动kafka的过程中，只要指定 JMX_PORT 的值，即可对broker 阅读全文
摘要：
需求说明 编写背景 此手册的基础在于对 "《jmxtrans + influxdb + granafa 监控套件使用手册》" 的熟悉和使用。本手册仅介绍以下几项： OpenTSDB 的配置安装 对 json 文件的配置使其可以将数据导入OpenTSDB grafana 对OpenTSDB 数据源的看 阅读全文
摘要：
需求说明 随着大数据组件的日益完善，需要随时随地保持各个组件的日常运行，对各个组件的监控势在必行。为了减少运维部门的负担，通过筛选，我们使用 jmxtrans + influxdb + granafa 套件对各个组件进行监控。 Jmxtrans：JMX可以对外暴露jvm内部的一些指标，但是要获取那些 阅读全文
摘要：
配置监控 1. 修改flume.env.sh 2. 使用以下脚本 指标项整理 OS监控项 | objectName | 指标项 | 说明 | | | | | | java.lang:type=OperatingSystem | FreePhysicalMemorySize | 空闲物理内存 | | 阅读全文
摘要：
配置 修改$HADOOP_HOME/etc/hadoop/hadoop env.sh web页面查看 | IP | 访问地址 | | | | | 192.168.20.10 | http://dev01:50070/jmx | | 192.168.20.11 | http://dev02:50075 阅读全文
摘要：
名词解释 JMX：Java Management Extensions，用于用于Java程序扩展监控和管理项 GC：Garbage Collection，垃圾收集，垃圾回收机制 指标项来源 |主机名|url| | | | |192.168.20.10|http://192.168.20.10:600 阅读全文
摘要：
Spark优化配置 1. 添加外包路径 1.1 1.2 spark submit时配置参数 2. spark submit时的参数配置 Kafka+Scala的参数配置 1. auto.offset.reset值含义解释 earliest 当各分区下有已提交的offset时，从提交的offset开始 阅读全文
摘要：
启动相关 数据库命令 1、Help查看命令提示 help db.help(); db.yourColl.help(); db.youColl.find().help(); rs.help(); 2、切换/创建数据库 use yourDB; 当创建一个集合(table)的时候会自动创建当前数据库 3、 阅读全文
摘要：
简介 在使用 Java 对数据库进行连接时，都会获取到一个 cursor ，cursor 实际指到的是我们查询数据库的query，而并不是 query 查询到的数据集。 此次在使用 mongo 的 cursor 的过程中，对线上数据库产生了很大压力，在这里对此次的优化过程进行记录。 场景 数据源：M 阅读全文
摘要：
概念 rs中存储了每一次对mongo数据库的CUD操作，对rs的大小进行resize. 主要有两种方法： 1. 在未开启过rs的情况下，修改配置文件 2. 已使用rs一段时间后，发现rs太大，重新进行大小配置 启动 默认启动 配置文件启动 rs启动 修改配置文件 修改opLog大小 修改的过程主要分 阅读全文
摘要：
测试方法 1. 使用 python 的 Faker 第三方包伪造数据，写入文件 test.txt 2. 复制 test.txt 内容为 test2.txt ，将 test2.txt 的内容重定向到 test.txt 中，使 test.txt 的文件大小达到几G 3. 使用lzo lz4 zstd s 阅读全文
摘要：
端口 TCP协议 TCP协议规定，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不会被释放。网络服务器程序要同时管理大量连接，所以很有必要保证无用连接完全断开，否则大量僵死的连接会浪费许多服务器资源。在众多TCP状态中， 阅读全文
摘要：
存储方式 |方式|方式来源|存储位置|优点|缺点| | | | | |自动提交|kafka|kafka|Spark应用从kafka中读取数据之后就自动提交|不是数据处理之后提交，无法控制| |异步提交|kafka|kafka|Spark应用从kafka中读取数据并处理好之后提交offset|如果ka 阅读全文
摘要：
环境相关命令 CPU 说明： 1. CPU消耗状况 | 显示项 | 说明 | | | | | us | 用户态的消耗 | | sy | 系统内核的消耗 | | ni | 调过ni值的进程的cpu us的消耗 | | id | cpu空闲 | | wa | iowait的消耗 | | hi | 硬中断 阅读全文
摘要：
线程的状态 NEW==》start()==》Runable Runable==》获取CPU==》Running Running==》yield()==》Runable Running==》Run()完成或异常退出==》Dead Running==》join(),sleep()==》Blocked B 阅读全文
摘要：
简介 单用户多点模式也称远程服务模式，用户非java客户端访问元数据库，在服务端启动MetaStoreServer，客户端利用Thrift协议通过MetaStoreServer访问元数据库。 mysql安装以及配置 安装mysql apt默认安装，占据3306端口 安装机器 : dev01 配置hi 阅读全文
摘要：
前言 Apache HBase 是目前大数据系统中应用最为广泛的分布式数据库之一。我们经常面临向 HBase 中导入大量数据的情景，通常会选择使用标准的客户端 API 对 HBase 进行直接的操作，或者在MapReduce作业中使用 TableOutputFormat 作为输出。实际上，借助 HB 阅读全文
摘要：
hbase基于hue的查询语法 登录地址 https://hue ui.xiaoniangao.cn 界面操作说明 1. 进入hue中的hbase 2. 进入表的查询界面 3. 界面说明 查询语句 表示结束查询，可以不加 主键查询 1. 输入主键 说明：只输入主键查询 例1： 例2： 2. 根据主键 阅读全文