随笔分类 -  hbase-hadoop-zookeeper

hbase-hadoop-zookeeper
蓝鲸监控hbase集群状态
摘要：1.#思路：status可以看到dead 0说明集群健康；list列出重要表名也说明集群健康。 #在hbase服务器上加crontab 1 */2 * * * /bin/bash /tmp/hbase_status.sh > /tmp/status_hbase.txt1 */10 * * * /bi 阅读全文
posted @ 2020-10-30 20:45 littlevigra 阅读(298) 评论(0) 推荐(0) 编辑
使用DBeaver连接pheonix
摘要：1.windows添加hosts记录 40.23.68.128 service1 40.13.18.146 service2 139.27.29.245 service3 2.在windows安装Hadoop并且增加环境变量 hadoop-2.6.0.zip 3.修改驱动为phoenix-5.0.0 阅读全文
posted @ 2019-12-30 19:43 littlevigra 阅读(1036) 评论(0) 推荐(0) 编辑
hfile.block.cache.size - hbase调优
摘要：1.一个regionserver上有一个blockcache和N个memstore，它们的大小之和必须小于heapsize* 0.8，否则hbase不能启动，因为仍然要留有一些内存保证其它任务的执行。 （1）hbase.regionserver.global.memstore.upperLimit默 阅读全文
posted @ 2019-11-26 16:13 littlevigra 阅读(2033) 评论(0) 推荐(0) 编辑
apache-phoenix-5.0.0-HBase-2.0-bin 登陆报错
摘要：1.Error: org.apache.hadoop.hbase.DoNotRetryIOException: java.io.IOException: Unable to load configured region split policy 'org.apache.phoenix.schema. 阅读全文
posted @ 2019-11-22 16:48 littlevigra 阅读(2698) 评论(0) 推荐(0) 编辑
prometheus 监控 zookeeper + zookeeper概念和意义
摘要：1.zookeeper的规则 [root@do1cloud01 prometheus]# cat zookeeper.yml rules: - pattern: "org.apache.ZooKeeperService<name0=ReplicatedServer_id(\\d+)><>(\\w+) 阅读全文
posted @ 2019-10-10 17:32 littlevigra 阅读(1614) 评论(1) 推荐(0) 编辑
prometheus 监控 hadoop + Hbase + zookeeper + mysql exporter
摘要：1. run JMX exporter as a java agent with all the four daemons. For this I have added EXTRA_JAVA_OPTS in hadoop-env.sh and yarn-env.sh : [root@cloud01 阅读全文
posted @ 2019-10-10 13:58 littlevigra 阅读(3377) 评论(1) 推荐(0) 编辑
hbase增量和全量备份
摘要：1.星期五全量备份星期四23：59：59的数据，星期一全量备份到星期日23：59：59的数据，其他的增量备份，备份前一天00：00：00 - 23：59：59的数据 1.增量备份脚本 3.全量备份脚本 阅读全文
posted @ 2019-09-17 14:54 littlevigra 阅读(1845) 评论(1) 推荐(0) 编辑
Hbase标准配置文件 + 增删改查 -- zkui Zookeeper可视化工具
摘要：0.https://www.cnblogs.com/cheyunhua/p/9776627.html zkui它提供了一个管理界面，可以针对zookeepr的节点值进行CRUD操作，同时也提供了安全认证。 1.可用配置文件 <?xml version="1.0"?> <?xml-stylesheet 阅读全文
posted @ 2019-09-04 17:01 littlevigra 阅读(539) 评论(2) 推荐(0) 编辑
hbase数据导出和恢复 设置双master + 查看hbase表占用磁盘大小
摘要：1.备份TETST111hbase org.apache.hadoop.hbase.mapreduce.Export TEST111 /do1/hh2.drop 掉test111表 -- 只能drop，不能delete -- 坑3.重新创建表create table test111 (id varc 阅读全文
posted @ 2019-08-29 17:14 littlevigra 阅读(735) 评论(4) 推荐(0) 编辑
开启phoenix命名空间的自动映射
摘要：1.在测试环境 hbase 全部集群的 hbase-site.xml 配置文件都加上这个配置，开启phoenix命名空间的自动映射 2.在测试环境在hbase集群内的 sqlline 客户端执行一下 3.打开namespace映射，对原来没有做namespace映射的应用是否有影响？ 阅读全文
posted @ 2019-08-29 11:51 littlevigra 阅读(2696) 评论(0) 推荐(0) 编辑
SQuirreL连接Phoenix报java.util.concurrent.TimeoutException
摘要：1.表象 2.深究原因，找到日志在 参考：https://yq.aliyun.com/articles/630486 http://hbase.group/question/200 阅读全文
posted @ 2019-08-28 23:37 littlevigra 阅读(1233) 评论(0) 推荐(0) 编辑
Hbase和Hadoop的内存参数调优 + 前端控制台 - 配置backup master和regionserver+hadoop的namenode启动命令
摘要：1.hadoop的内存配置调优 mapred-site.xml的内存调整 <property> <name>mapreduce.map.memory.mb</name> <value>1536</value> </property> <property> <name>mapreduce.map.ja 阅读全文
posted @ 2019-08-28 15:36 littlevigra 阅读(797) 评论(1) 推荐(0) 编辑
hbase的hue部署和使用 - hbase 安装部署-wzlinux
摘要：1.组件版本信息 zookeeper hadoop hbase hue zookeeper-3.4.12 hadoop-3.0.3 hbase-2.1.5 4.4.0 2.hbase的配置 hue关键要添加thrift服务，才能监听9090端口 <?xml version="1.0"?> <?xml 阅读全文
posted @ 2019-08-02 11:30 littlevigra 阅读(1443) 评论(3) 推荐(0) 编辑
hbase的架构组成+hbase在create报错 -hue - mvn hadoop dfsadmin -report 看整个 hadoop的节点情况
摘要：0.hbase的组件 架构 参考：https://cloud.tencent.com/developer/article/1084209 各个组件的功能 参考：https://zhuanlan.zhihu.com/p/75454915 1.现象：hbase shell > status #正常 hb 阅读全文
posted @ 2019-07-31 15:42 littlevigra 阅读(530) 评论(3) 推荐(0) 编辑

点击右上角即可分享
微信分享提示