RICH-ATONE

Kafka配置参数详解

摘要： Kafka配置详解阅读全文

posted @ 2021-12-08 16:09 RICH-ATONE 阅读(99) 评论(0) 推荐(0) 编辑

linux ping IP地址与telnet 测试IP端口以及检查端口号占用情况

摘要：命令一：（测试端口是否能够正常访问）语法：telnet ip 端口号 telnet 192.168.2.21 8089 如上所示，则端口能够正常连通；拓展常用命令： Escape character is '^]'.解决方法 “^”是Ctrl键的意思！ 1、这个提示的意思是按Ctrl + ]会呼阅读全文

posted @ 2021-12-08 14:47 RICH-ATONE 阅读(7768) 评论(0) 推荐(0) 编辑

Kafka MirrorMaker 跨集群数据迁移

摘要：参考： 1、使用 Apache Kafka 的 MirrorMaker 迁移集群 sh /home/pirate/programs/kafka/bin/kafka-run-class.sh -daemon -name tutorials -loggc kafka.tools.MirrorMaker 阅读全文

posted @ 2021-12-03 18:13 RICH-ATONE 阅读(418) 评论(0) 推荐(0) 编辑

logstash的使用教程

摘要： logstash的使用教程阅读全文

posted @ 2021-12-03 17:34 RICH-ATONE 阅读(93) 评论(0) 推荐(0) 编辑

阿里JSONObject详解

摘要： 1.通过原生生成json数据格式。 JSONObject zhangsan = new JSONObject(); try { //添加 zhangsan.put("name", "张三"); zhangsan.put("age", 18.4); zhangsan.put("birthday", " 阅读全文

posted @ 2021-11-22 16:47 RICH-ATONE 阅读(859) 评论(0) 推荐(0) 编辑

Hive执行报错org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.InterruptedException: sleep interrupted

摘要：报错日志如下：（肯定有时报错信息不准确，不能准确定位问题出现在哪里） org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.InterruptedException: sleep interrupted at org.ap 阅读全文

posted @ 2021-11-01 19:11 RICH-ATONE 阅读(2281) 评论(0) 推荐(0) 编辑

hdfs执行balance报错：because lease recovery is in progress. Try again later.

摘要：参考： https://github.com/huaweicloudDocs/mrs/blob/master/cn.zh-cn/%E6%95%85%E9%9A%9C%E6%8E%92%E9%99%A4/%E6%89%A7%E8%A1%8Cbalance%E5%B8%B8%E8%A7%81%E9%97 阅读全文

posted @ 2021-10-19 17:14 RICH-ATONE 阅读(773) 评论(0) 推荐(0) 编辑

hadoop balancer集群平衡介绍

摘要： hadoop balancer集群平衡介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见阅读全文

posted @ 2021-10-15 18:27 RICH-ATONE 阅读(353) 评论(0) 推荐(0) 编辑

Linux运行有时间限制的命令—timeout命令

摘要：当我们想让一个定时的crontab任务运行运行一段时间后，自动终止？有两种方案：一、启动一个进程任务，然后在启动一个杀死进程任务二、使用linux中的timeout命令示例：执行crontab -e 进入定时任务，添加如下命令 30 9 * * * timeout -s SIGKILL 12 阅读全文

posted @ 2021-10-15 18:18 RICH-ATONE 阅读(1314) 评论(0) 推荐(0) 编辑

Linux输入输出重定向详解

摘要： shell中可能经常能看到：>/dev/null 2>&1 命令的结果可以通过%>的形式来定义输出分解这个组合：“>/dev/null 2>&1” 为五部分。 1：> 代表重定向到哪里，例如：echo "123" > /home/123.txt 2：/dev/null 代表空设备文件（可以理解为阅读全文

posted @ 2021-10-15 15:42 RICH-ATONE 阅读(551) 评论(0) 推荐(0) 编辑