会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
吹静静
欢迎QQ交流:592590682
路漫漫,其修远兮,吾将上下而求索。
博客园
首页
博问
闪存
新随笔
订阅
管理
上一页
1
···
4
5
6
7
8
9
10
11
12
···
49
下一页
2020年11月14日
报错:MySQL initialize specified but the data directory has files in it. Aborting.
摘要: 报错背景 mysql 想要重新格式化 mysqld --initialize,结果报错。 报错现象 报错原因 initialize specified but the data directory has files in it. Aborting. 由这句话可知,data目录下有文件了,所以格式化
阅读全文
posted @ 2020-11-14 16:55 吹静静
阅读(5420)
评论(0)
推荐(0)
编辑
2020年11月5日
日志文件名上添加上日期
摘要: 示例:执行命令:echo "111" >>/log/hive/All_StartHiveSQL_`date +%Y%m%d_%T`.log 2>&1结果:生成文件:All_StartHiveSQL_20201105_15:05:02.log
阅读全文
posted @ 2020-11-05 15:07 吹静静
阅读(565)
评论(0)
推荐(0)
编辑
2020年11月2日
定时任务:每日定时执行命令或者脚本
摘要: 例 子 每日1:20执行脚本test.sh # crontab -e20 1 * * * /opt/test.sh 参 数 -e 编辑该用户的计时器设置。 -l 列出该用户的计时器设置。 -r 删除该用户的计时器设置。 -u<用户名称> 指定要设定计时器的用户名称。 crontab 格式: 分钟 小
阅读全文
posted @ 2020-11-02 17:05 吹静静
阅读(1326)
评论(0)
推荐(0)
编辑
定时任务:crontab: installing new crontab
摘要: 每次写完定时任务退出之后都会有一个提示: 表示添加调度任务成功。 注意:用crontab -e 编辑的定时任务三分钟之内是不会执行的,所以在测试的时候,至少时间后推三分钟!
阅读全文
posted @ 2020-11-02 16:42 吹静静
阅读(2840)
评论(0)
推荐(0)
编辑
2020年10月29日
报错:Sqoop Failing this attempt. Failing the application.
摘要: 报错背景 sqoop将HBase的数据导入到HDFS 报错现象 20/10/29 17:17:48 INFO mapreduce.Job: Running job: job_1603962187772_0001 20/10/29 17:17:53 INFO mapreduce.Job: Job jo
阅读全文
posted @ 2020-10-29 17:31 吹静静
阅读(1030)
评论(0)
推荐(0)
编辑
2020年10月19日
数据库优化
摘要: 1 基本概念简述 1.1 逻辑架构 第一层:客户端通过连接服务,将要执行的sql指令传输过来 第二层:服务器解析并优化sql,生成最终的执行计划并执行 第三层:存储引擎,负责数据的储存和提取 1.2 锁 数据库通过锁机制来解决并发场景-共享锁(读锁)和排他锁(写锁)。读锁是不阻塞的,多个客户端可以在
阅读全文
posted @ 2020-10-19 21:34 吹静静
阅读(85)
评论(0)
推荐(0)
编辑
2020年10月17日
HBase 强制删除表
摘要: 删除zookeeper中对应表注册信息 进入zookeeper客户端 # zkCli.sh -server 127.0.0.1:2181 列出HBase下所有表结构 [zk: 127.0.0.1:2181(CONNECTED) 1] ls /hbase/table 删除对应表 [zk: 127.0.
阅读全文
posted @ 2020-10-17 12:05 吹静静
阅读(1702)
评论(0)
推荐(0)
编辑
2020年10月16日
报错:hadoop NameNode is not formatted
摘要: 报错背景 hadoop集群安装完成后进行格式化操作,不成功。 报错现象 # hadoop namenode -format 2020-10-16 15:13:15,741 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encoun
阅读全文
posted @ 2020-10-16 21:30 吹静静
阅读(6260)
评论(0)
推荐(0)
编辑
2020年10月11日
Hadoop数据倾斜问题矫正
摘要: 集群中发现有一个节点占用的空间特别多,而其它节点相对来说占用空间很少。 启动hadoop的负载均衡服务 #启动数据均衡,默认阈值为 10% start-balancer.sh #启动数据均衡,阈值 5% start-balancer.sh –threshold 5 #停止数据均衡 stop-bala
阅读全文
posted @ 2020-10-11 10:36 吹静静
阅读(198)
评论(0)
推荐(0)
编辑
报错:Hadoop Operation category READ is not supported in state standby
摘要: 报错背景 Linux服务器集群发现数据倾斜问题严重,于是想要开启负载均衡服务,但是发现Balancer启动之后自己挂掉。 报错现象 查看日志:/data/hadoop/logs,发现报错信息。 报错原因 hadoop集群中的两个NameNode均为standby状态。 可以查看你的NameNode状
阅读全文
posted @ 2020-10-11 10:12 吹静静
阅读(508)
评论(0)
推荐(0)
编辑
上一页
1
···
4
5
6
7
8
9
10
11
12
···
49
下一页