RICH-ATONE

Hadoop中的jobhistory配置与启动停止

摘要： jobhistory的配置 1、在yarn-site.xml中添加  <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> 2.在mapred-site.x 阅读全文

posted @ 2021-07-09 10:29 RICH-ATONE 阅读(732) 评论(0) 推荐(0) 编辑

ClickHouse 命令行客户端详解

摘要：参考官网： https://clickhouse.tech/docs/zh/interfaces/cli/ 阅读全文

posted @ 2021-07-07 17:44 RICH-ATONE 阅读(1366) 评论(0) 推荐(0) 编辑

实时计算 Flink 版 + Hologres，亿级用户实时 UV 精确去重最佳实践

摘要：实时计算 Flink 版 + Hologres，亿级用户实时 UV 精确去重最佳实践阅读全文

posted @ 2021-07-06 18:47 RICH-ATONE 阅读(125) 评论(0) 推荐(0) 编辑

Flume报错：ERROR hdfs.HDFSEventSink: process failed java.lang.NoSuchMethodError: org.apache.hadoop.ipc.RPC.getProtocolProx

摘要：报错日志： 21/07/06 12:07:54 ERROR hdfs.HDFSEventSink: process failed java.lang.NoSuchMethodError: org.apache.hadoop.ipc.RPC.getProtocolProxy(Ljava/lang/Cl 阅读全文

posted @ 2021-07-06 14:08 RICH-ATONE 阅读(2123) 评论(0) 推荐(0) 编辑

Flume参数说明及其他

摘要：普通启动flume：nohup bin/flume-ng agent --conf-file conf/kafka_flume_hdfs.conf --name a2 -Dflume.pirate.logger=INFO,LOGFILE >/home/pirate/programs/flume/lo 阅读全文

posted @ 2021-07-06 12:59 RICH-ATONE 阅读(731) 评论(0) 推荐(0) 编辑

多次format namenode后，datanode无法正常启动

摘要： DataNode报错日志如下： 2021-07-05 16:30:53,595 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Dat 阅读全文

posted @ 2021-07-05 18:14 RICH-ATONE 阅读(226) 评论(0) 推荐(0) 编辑

Flink Metrics监控

摘要： Flink Metrics监控参考： Flink Metrics监控与 RestApi https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/ops/metrics.html 阅读全文

posted @ 2021-06-29 15:14 RICH-ATONE 阅读(123) 评论(0) 推荐(0) 编辑

service to hadoop01/hadoop01:8020 Datanode denied communication with namenode because the host is not in the include-list

摘要： Hadoop新增节点报错： 2021-06-28 16:02:12,489 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-433041383-192.168.10.249-1494331993586 (Data 阅读全文

posted @ 2021-06-28 16:27 RICH-ATONE 阅读(428) 评论(0) 推荐(0) 编辑

Hadoop和HBASE对应兼容版本

摘要：参考官网： https://hbase.apache.org/book.html#configuration 阅读全文

posted @ 2021-06-28 11:08 RICH-ATONE 阅读(741) 评论(0) 推荐(0) 编辑

Flink SQL CDC中如何定义watermark和计算列

摘要：官网示例： -- use the existing TIMESTAMP(3) field in schema as the rowtime attribute CREATE TABLE MyTable ( ts_field TIMESTAMP(3), WATERMARK FOR ts_field A 阅读全文

posted @ 2021-06-25 18:02 RICH-ATONE 阅读(1263) 评论(0) 推荐(1) 编辑