合集-大数据
hdfs清空回收站
摘要：hdfs dfs -du -h 查看各个HDFS空间占用情况 hdfs dfs -rm -r /user/fughting/.Trash/Current 就可以清空fighting这个用户的回收站了(但是这种方式并不会删除文件。会将其放到另外一个.Trash) 需要添加参数： -skipTrash
ES定期清理日志
摘要：定期清理日志脚本 [root@ELK ~]# cat /root/jws/indexclean.sh #!/bin/bash #清理的主机地址 dst_ip=1.1.1.1 # 需要清理几天以前的索引日志 CLEAN_DAY=90 # 获取N天以前的年月日 YEAR=$(date -d "$(dat
HIVE跨集群迁移
摘要：查看mysql使用端口 ps -ef | grep mysql ss -antp | grep [ps查出来的pid] 停止HIVE写入服务 创建备份路径 mkdir -p /root/hivebackup/ 执行备份数据库命令：(在目标集群执行) mysqldump -uroot -pPasswo
HDFS跨集群迁移
摘要：场景 由于版本升级和集群切换，现需要将A（源）集群HDFS数据迁移至B（目的）集群 迁移过程 先通过hadoop distcp -prugpb将整体数据迁移一次，然后协调时间窗口将所有业务停止，进行一次增量迁移，然后切换业务即可 注：脚本一定要放在hdfs用户的目录下，脚本的属主和属组应该为：hdf
Hbase跨集群迁移以及常用命令
摘要：场景： 由于Hbase版本升级以及集群切换，现需要将Hbase从A集群（源）迁移至B集群（目的） 迁移过程： 将源A集群的Hbase需要迁移的表（注意namespace）通过snapshot方式打成快照，然后再通过ExportSnapshot方式迁移至目的B集群，此时目的集群的HDFS目录下的hba
kibana启动失败Kibana server is not ready yet，ES后台日志报错：NoShardAvailableActionException
摘要：kibana.log日志报错信息： {"level":"error","message":"Action failed with 'no_shard_available_action_exception'. Retrying attempt 8 out of 10 in 64 seconds."},
Elasticsearch数据迁移工具之ESM
摘要：Elasticsearch数据迁移工具之ESM https://www.modb.pro/db/337630 git源码地址：https://github.com/medcl/esm/
logstash+Elasticseach单节点 让logstash生成单副本索引
摘要：要让 Logstash 和 Elasticsearch 生成单副本索引，请按照以下步骤更改 Logstash 的输出配置文件：(该方式只适用于老的版本，新的版本需要在模板中配置) 打开 Logstash 配置文件，该文件默认位于 logstash/config 目录下。 找到输出部分配置，并添加以下
