Flink实时计算
摘要：flink计算过程：Source->Transform->Sink 整体设计 消费kafka数据，解析、计算后，分两路输出 1 归档（HDFS） 2 业务应用（PG） 代码实现 消费kafka：FlinkKafkaConsumer<byte[]> kafkaConsumer 解 析： 按照协议、结构
阅读全文
posted @ 2022-02-15 14:54
02 2022 档案
MapReduce
摘要：1 是什么？ 海量、离线数据里批处理、分布式计算引擎 2 编程组件？ InputFormat类：分割成多个splits和每行怎么解析。 Mapper类：对输入的每对<key,value>生成中间结果。 Combiner类：在map端，对相同的key进行合并。 Partitioner类：在shuffl
阅读全文
posted @ 2022-02-15 11:44
Hbase
摘要：截图来自 hbase权威指南 1 Hbase啥？ 高可用的列式存储数据库 2 上图各块都有啥功能？ API：api是对外暴露操作HBase的，针对两类 （1 数据 2 表 ）的增删改查（前台） Master：regionServer负载和操作，元数据得管理（建表，列簇信息）（总经理）， Region
阅读全文
posted @ 2022-02-14 15:07
Flink GlobalWindow
摘要：需求 flink读取hdfs写入clickhouse 设想 flink读取hdfs；数据结构化；拼接SQL；JDBC连接CLICKHOUSE；批量入库 难点 保证数据全部写入（考虑过timewindow 和 countwindow：因为文件大小和程序执行时长是未知的，所以会丢失数据） 技术实现 自定
阅读全文
posted @ 2022-02-14 14:44
presto查询调优
摘要：调优维度： SQL presto参数配置（内存，并发，调度） 实 现： SQL ： 1 不要使用select * 2 approx_distinct(x)代替count(distinct x) 3 join 大表放在前面：presto左侧大表拆分到各个节点，右表数据发送到大表各个节点上进行join
阅读全文
posted @ 2022-02-14 14:44
