报错：Sqoop Failing this attempt. Failing the application.
摘要：报错背景 sqoop将HBase的数据导入到HDFS 报错现象 20/10/29 17:17:48 INFO mapreduce.Job: Running job: job_1603962187772_0001 20/10/29 17:17:53 INFO mapreduce.Job: Job jo
阅读全文
posted @
2020-10-29 17:31
吹静静
阅读(1071)
推荐(0) 编辑
数据库优化
摘要：1 基本概念简述 1.1 逻辑架构 第一层：客户端通过连接服务，将要执行的sql指令传输过来 第二层：服务器解析并优化sql，生成最终的执行计划并执行 第三层：存储引擎，负责数据的储存和提取 1.2 锁 数据库通过锁机制来解决并发场景-共享锁（读锁）和排他锁（写锁）。读锁是不阻塞的，多个客户端可以在
阅读全文
posted @
2020-10-19 21:34
吹静静
阅读(89)
推荐(0) 编辑
HBase 强制删除表
摘要：删除zookeeper中对应表注册信息 进入zookeeper客户端 # zkCli.sh -server 127.0.0.1:2181 列出HBase下所有表结构 [zk: 127.0.0.1:2181(CONNECTED) 1] ls /hbase/table 删除对应表 [zk: 127.0.
阅读全文
posted @
2020-10-17 12:05
吹静静
阅读(1751)
推荐(0) 编辑
报错：hadoop NameNode is not formatted
摘要：报错背景 hadoop集群安装完成后进行格式化操作，不成功。 报错现象 # hadoop namenode -format 2020-10-16 15:13:15,741 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encoun
阅读全文
posted @
2020-10-16 21:30
吹静静
阅读(6415)
推荐(0) 编辑
Hadoop数据倾斜问题矫正
摘要：集群中发现有一个节点占用的空间特别多，而其它节点相对来说占用空间很少。 启动hadoop的负载均衡服务 #启动数据均衡，默认阈值为 10% start-balancer.sh #启动数据均衡，阈值 5% start-balancer.sh –threshold 5 #停止数据均衡 stop-bala
阅读全文
posted @
2020-10-11 10:36
吹静静
阅读(212)
推荐(0) 编辑
报错：Hadoop Operation category READ is not supported in state standby
摘要：报错背景 Linux服务器集群发现数据倾斜问题严重，于是想要开启负载均衡服务，但是发现Balancer启动之后自己挂掉。 报错现象 查看日志：/data/hadoop/logs，发现报错信息。 报错原因 hadoop集群中的两个NameNode均为standby状态。 可以查看你的NameNode状
阅读全文
posted @
2020-10-11 10:12
吹静静
阅读(558)
推荐(0) 编辑
管理
