10 2021 档案

kafka默认消息分片路由规则
摘要：发一个消息，如何知道消息被默认分片到哪里 1.如果没有指定key,是随机分片 2.如果指定了key，即 new KeyedMessage<String, String>(String topic, String key, String message) 可以套用一下公式计算: key.hashCod 阅读全文
posted @ 2021-10-26 09:15 cknds 阅读(529) 评论(0) 推荐(0)
python 在windows 下设置文件锁
摘要：python windows 下设置文件锁、多线程 阅读全文
posted @ 2021-10-23 09:01 cknds 阅读(640) 评论(0) 推荐(0)
hive分区表增加字段
摘要：Hive添加或删除字段 Hive分区表动态添加字段 HIVE实战处理（七） hive 新增字段 联级（cascade）和json格式的hive表 HIVE分区表添加字段cascade 执行时间过长出现bug 阅读全文
posted @ 2021-10-09 14:32 cknds 阅读(539) 评论(0) 推荐(0)
RestAPI获取yarn上的作业信息
摘要：#查看指定队列的所有任务： GET http://<rm http address:port>/ws/v1/cluster/apps?queue=dev #查看指定任务的详细信息： GET http://<rm http address:port>/ws/v1/cluster/apps/applic 阅读全文
posted @ 2021-10-08 11:52 cknds 阅读(526) 评论(0) 推荐(0)