吹静静

摘要： 报错背景 mysql 想要重新格式化 mysqld --initialize，结果报错。 报错现象 报错原因 initialize specified but the data directory has files in it. Aborting. 由这句话可知，data目录下有文件了，所以格式化 阅读全文

摘要： 示例：执行命令：echo "111" >>/log/hive/All_StartHiveSQL_`date +%Y%m%d_%T`.log 2>&1结果：生成文件：All_StartHiveSQL_20201105_15:05:02.log 阅读全文

摘要： 例 子 每日1:20执行脚本test.sh # crontab -e20 1 * * * /opt/test.sh 参 数 -e 编辑该用户的计时器设置。 -l 列出该用户的计时器设置。 -r 删除该用户的计时器设置。 -u<用户名称> 指定要设定计时器的用户名称。 crontab 格式： 分钟 小 阅读全文

摘要： 每次写完定时任务退出之后都会有一个提示： 表示添加调度任务成功。 注意：用crontab -e 编辑的定时任务三分钟之内是不会执行的，所以在测试的时候，至少时间后推三分钟！ 阅读全文

摘要： 报错背景 sqoop将HBase的数据导入到HDFS 报错现象 20/10/29 17:17:48 INFO mapreduce.Job: Running job: job_1603962187772_0001 20/10/29 17:17:53 INFO mapreduce.Job: Job jo 阅读全文

摘要： 1 基本概念简述 1.1 逻辑架构 第一层：客户端通过连接服务，将要执行的sql指令传输过来 第二层：服务器解析并优化sql，生成最终的执行计划并执行 第三层：存储引擎，负责数据的储存和提取 1.2 锁 数据库通过锁机制来解决并发场景-共享锁（读锁）和排他锁（写锁）。读锁是不阻塞的，多个客户端可以在 阅读全文

摘要： 删除zookeeper中对应表注册信息 进入zookeeper客户端 # zkCli.sh -server 127.0.0.1:2181 列出HBase下所有表结构 [zk: 127.0.0.1:2181(CONNECTED) 1] ls /hbase/table 删除对应表 [zk: 127.0. 阅读全文

摘要： 报错背景 hadoop集群安装完成后进行格式化操作，不成功。 报错现象 # hadoop namenode -format 2020-10-16 15:13:15,741 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encoun 阅读全文

摘要： 集群中发现有一个节点占用的空间特别多，而其它节点相对来说占用空间很少。 启动hadoop的负载均衡服务 #启动数据均衡，默认阈值为 10% start-balancer.sh #启动数据均衡，阈值 5% start-balancer.sh –threshold 5 #停止数据均衡 stop-bala 阅读全文

摘要： 报错背景 Linux服务器集群发现数据倾斜问题严重，于是想要开启负载均衡服务，但是发现Balancer启动之后自己挂掉。 报错现象 查看日志：/data/hadoop/logs，发现报错信息。 报错原因 hadoop集群中的两个NameNode均为standby状态。 可以查看你的NameNode状 阅读全文