Hbase
摘要：
截图来自 hbase权威指南 1 Hbase啥？ 高可用的列式存储数据库 2 上图各块都有啥功能？ API：api是对外暴露操作HBase的，针对两类 （1 数据 2 表 ）的增删改查（前台） Master：regionServer负载和操作，元数据得管理（建表，列簇信息）（总经理）， Region 阅读全文
posted @ 2022-02-14 15:07 爱老虎哟 阅读(43) 评论(0) 推荐(0) 编辑
Flink GlobalWindow
摘要：
需求 flink读取hdfs写入clickhouse 设想 flink读取hdfs；数据结构化；拼接SQL；JDBC连接CLICKHOUSE；批量入库 难点 保证数据全部写入（考虑过timewindow 和 countwindow：因为文件大小和程序执行时长是未知的，所以会丢失数据） 技术实现 自定 阅读全文
posted @ 2022-02-14 14:44 爱老虎哟 阅读(199) 评论(0) 推荐(0) 编辑
presto查询调优
摘要：
调优维度： SQL presto参数配置（内存，并发，调度） 实 现： SQL ： 1 不要使用select * 2 approx_distinct(x)代替count(distinct x) 3 join 大表放在前面：presto左侧大表拆分到各个节点，右表数据发送到大表各个节点上进行join 阅读全文
posted @ 2022-02-14 14:44 爱老虎哟 阅读(97) 评论(0) 推荐(0) 编辑
