随笔分类 -  中间件/工具

1
摘要：kafka 集群部署 https://wiki.datagrand.com/pages/viewpage.action?pageId=257884548 集群部署 https://wiki.datagrand.com/pages/viewpage.action?pageId=141921113 阅读全文
posted @ 2023-08-04 14:47 つつつつつつ 阅读(8) 评论(0) 推荐(0) 编辑
Hive查看所有表/分区更新时间
摘要：业务需求: 开始环境可能不太稳定, 需要每天手动检查 Hive 里面的数据是否同步 ```shell ## 步骤 1. 查看分区 show partitions table_name; 2.查看分区更新时间 - 获取hdfs路径 desc formatted table_name; 3. 通过dfs 阅读全文
posted @ 2023-07-28 10:33 つつつつつつ 阅读(551) 评论(0) 推荐(0) 编辑
Kafka 创建的时候只有一个 Topic 的优化
摘要：1. 在 kafka 的启动配置中修改 num.partitions=2 每一个配置参考文档 https://blog.csdn.net/lizhitao/article/details/25667831 2. python 代码在创建的时候, 将 partion 指定为 10 个 ```pytho 阅读全文
posted @ 2023-07-27 17:28 つつつつつつ 阅读(33) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示