摘要：
问题现象：效率低，造成前端文件积压 造成SDFS向hbase集群写文件效率低，发生积压的主要原因为以下： 1. Hbase regionserver服务JVM 堆内存新生代和老生代的使用率较高，GC次数频繁（服务启动至今发生过3W多次）及GC时间较长。 2. 目前每个节点平均700多个region， 阅读全文
摘要：
一、集群现状： 集群2管理节点+14数据节点，一台数据节点硬件异常，相应进程未启动，每台主机物理cpu16c，yarn配置了15c，目前集群共有15*13=195c 二、队列配置 集群分为straapp、e3base、generate三个队列 1、straapp跑的是mr作业 2、e3base跑的是 阅读全文
摘要：
适应场景：解决数据节点上的磁盘失衡的痛点，如：扩容磁盘或磁盘更换等 均衡步骤： 1、修改文件 hdfs-site.xml中的参数dfs.disk.balancer.enabled 值设置为true 2、开始均衡磁盘（分三分进行分别为：plan, execute, query) 一步，HDFS客户端从 阅读全文
摘要：
1、Hadoop集群小文件太多 Hadoop集群小文件太多，数据节点太少，消耗大量缓存，随着业务数据量变多，hdfs反应速度会越来越慢，效率越来越低 （1）yarn日志（paas侧清理） （2）hbase表，虽然整体数据量不算大，但是表太多，很多表是2017、2018、2019年的表，建议清理（CR 阅读全文
摘要：
1、修改配置文件hbase-site.xml，添加以下内容 <property> <name>hbase.security.authorization</name> <value>true</value> </property> <property> <name>hbase.rpc.engine</ 阅读全文
摘要：
集群共三台主机，两个数据节点，hbase共有两个regionserver 1）存在的问题 8月6日晚九点半，测试集群两个regionserver同时异常，hbase除了list以外的操作都不能执行，观察master和regionserver的日志，都出现了如下报错： （2）分析过程 从日志中暂时未分 阅读全文
摘要：
集群信息： 生产集群(主）：31台（3管理节点+28数据节点） zk部署地址：10.105.54.11-13 容灾集群（从）：10台（3管理节点+7数据节点） zk部署地址：10.114.196.194-10.114.196.196 前期准备条件： 1、配置生产与容灾主机hosts 2、添加repl 阅读全文
摘要：
问题现象：archive和WALs目录快速上涨，导至hdfs存储量到达告警上限 问题分析：archive和WALs目录下自动清理失效 解决步骤： 1、 查看master日志，看看是否有错误信息，如下图，情况为内存溢出，无法新建线程，需上调master内存堆 2、调整hbase-env.sh参数，将根 阅读全文
摘要：
集群环境：临时搭建一套集群（3台虚拟机）下载ycsb工具包：ycsb-0.12.0.tar.gz 下载地址： https://github.com/brianfrankcooper/YCSB/releases/tag/0.12.0 安装步骤： 1、 解压 安装 包 tar zxvf ycsb-0.1 阅读全文