RICH-ATONE

Flink保留savepoint，并从savepoint启动示例

摘要： FLink1.16版本，基于Yarn集群示例： 1、启动示例： ../bin/flink run -t yarn-per-job -Dyarn.application.queue="default" -c org.apache.flink.base.basedoit._23_State_Operat 阅读全文

posted @ 2023-06-01 13:53 RICH-ATONE 阅读(429) 评论(0) 推荐(0) 编辑

clickhouse数据文件导入，导出

摘要： clickhouse数据文件导入，导出 ck数据导出到csv文件 clickhouse-client -h 172.16.xx.xxx --port 9000 -u default --password 123456 --format_csv_delimiter=$'|' --query="sele 阅读全文

posted @ 2023-02-22 18:36 RICH-ATONE 阅读(468) 评论(0) 推荐(0) 编辑

报错：Caused by: java.lang.OutOfMemoryError: unable to create new native thread

摘要：可能原因大致有以下两点： 1、系统内存耗尽，无法为新线程分配内存 2、创建线程数超过了操作系统的限制针对问题，进行以下几点进行排查： ①查看内存，发现内存充足 [atone@aliyun-kafka-1-60 ~]$ free -h total used free shared buff/cach 阅读全文

posted @ 2023-02-14 14:53 RICH-ATONE 阅读(168) 评论(0) 推荐(0) 编辑

即席留存、漏斗、路径等分析参考

摘要： Clickhouse(流量分析(一).漏斗分析案例) 每天数百亿用户行为数据，美团点评怎么实现秒级转化分析？（美团漏斗转化分析） clickhouse数据模型之留存分析 clickhouse数据模型之用户路径分析阅读全文

posted @ 2023-01-28 18:21 RICH-ATONE 阅读(91) 评论(0) 推荐(0) 编辑

ClickHouse 实现数组交并差计算

摘要：计算数组交集函数：arrayIntersect(arr1,arr2,...) 功能说明：计算 arr1,arr2等数组元素交集。返回值：交集元素子数组。 SQL 实例： SELECT arrayIntersect([1, 2, 3], [4, 5, 6]) AS noIntersect, arr 阅读全文

posted @ 2023-01-28 18:06 RICH-ATONE 阅读(519) 评论(0) 推荐(0) 编辑

漏斗模型分析

摘要： 0 什么是漏斗分析说起数据分析，很多人把精力放在了各种高大上的数据模型上。事实上，比较常见的一些数据分析方法，往往都不是什么非常高深的学问，在实践中，涉及到的方法论或者复杂性，其实是远低于学校里学习的专业知识。而我们非常看重数据分析，本质是看重“数据”，以及利用数据来做的“分析”，好的结论不一定有阅读全文

posted @ 2022-12-29 10:16 RICH-ATONE 阅读(319) 评论(0) 推荐(0) 编辑

scp和rsync限制带宽copy

摘要：示例： 1、scp限制100k左右 scp -l 1000 test 192.168.16.111:`pwd` 此时的传输速度是 1M/8=100k左右 2、rsync是（限制100K Bytes/s） rsync -auvzP --bwlimit=1000 test 192.168.16.111: 阅读全文

posted @ 2022-12-27 15:54 RICH-ATONE 阅读(630) 评论(0) 推荐(0) 编辑

Prometheus+Grafana搭建监控平台

摘要： Prometheus+Grafana搭建监控平台阅读全文

posted @ 2022-12-14 18:27 RICH-ATONE 阅读(43) 评论(0) 推荐(0) 编辑

Hadoop修改副本数并使之生效

摘要：随着hadoop集群数据量增大，以及机器的不断扩容，修改副本数量降本增效是很常见的做法 1、配置hdfs-site.xml参数 dfs.replication <property> <name>dfs.replication</name> <value>2</value> </property> 注阅读全文

posted @ 2022-12-12 10:57 RICH-ATONE 阅读(719) 评论(0) 推荐(0) 编辑

shell脚本去重的几种方法

摘要：测试文件如下： jason jason jason fffff jason 第一种去重方法：sort -u 文件名或者 cat 文件名 | sort -u [root@bogon ~]# sort -u test fffff jason 但这样只是将去重后的结果打印在屏幕上，如果想将去重后的内容保阅读全文

posted @ 2022-11-26 23:52 RICH-ATONE 阅读(2518) 评论(0) 推荐(0) 编辑