吹静静

欢迎QQ交流:592590682

随笔 - 421,  文章 - 68,  评论 - 65,  阅读 - 164万
10 2020 档案
报错:Sqoop Failing this attempt. Failing the application.
摘要:报错背景 sqoop将HBase的数据导入到HDFS 报错现象 20/10/29 17:17:48 INFO mapreduce.Job: Running job: job_1603962187772_0001 20/10/29 17:17:53 INFO mapreduce.Job: Job jo 阅读全文
posted @ 2020-10-29 17:31 吹静静 阅读(1070) 评论(0) 推荐(0) 编辑
数据库优化
摘要:1 基本概念简述 1.1 逻辑架构 第一层:客户端通过连接服务,将要执行的sql指令传输过来 第二层:服务器解析并优化sql,生成最终的执行计划并执行 第三层:存储引擎,负责数据的储存和提取 1.2 锁 数据库通过锁机制来解决并发场景-共享锁(读锁)和排他锁(写锁)。读锁是不阻塞的,多个客户端可以在 阅读全文
posted @ 2020-10-19 21:34 吹静静 阅读(89) 评论(0) 推荐(0) 编辑
HBase 强制删除表
摘要:删除zookeeper中对应表注册信息 进入zookeeper客户端 # zkCli.sh -server 127.0.0.1:2181 列出HBase下所有表结构 [zk: 127.0.0.1:2181(CONNECTED) 1] ls /hbase/table 删除对应表 [zk: 127.0. 阅读全文
posted @ 2020-10-17 12:05 吹静静 阅读(1750) 评论(0) 推荐(0) 编辑
报错:hadoop NameNode is not formatted
摘要:报错背景 hadoop集群安装完成后进行格式化操作,不成功。 报错现象 # hadoop namenode -format 2020-10-16 15:13:15,741 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encoun 阅读全文
posted @ 2020-10-16 21:30 吹静静 阅读(6415) 评论(0) 推荐(0) 编辑
Hadoop数据倾斜问题矫正
摘要:集群中发现有一个节点占用的空间特别多,而其它节点相对来说占用空间很少。 启动hadoop的负载均衡服务 #启动数据均衡,默认阈值为 10% start-balancer.sh #启动数据均衡,阈值 5% start-balancer.sh –threshold 5 #停止数据均衡 stop-bala 阅读全文
posted @ 2020-10-11 10:36 吹静静 阅读(212) 评论(0) 推荐(0) 编辑
报错:Hadoop Operation category READ is not supported in state standby
摘要:报错背景 Linux服务器集群发现数据倾斜问题严重,于是想要开启负载均衡服务,但是发现Balancer启动之后自己挂掉。 报错现象 查看日志:/data/hadoop/logs,发现报错信息。 报错原因 hadoop集群中的两个NameNode均为standby状态。 可以查看你的NameNode状 阅读全文
posted @ 2020-10-11 10:12 吹静静 阅读(557) 评论(0) 推荐(0) 编辑


< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示