摘要：
客户端上报的日志数据一般都会记录app版本，基本会有如下这种规范 主版本号：当功能有较大变动（比如增加多个模块或者整体架构发生变化），增加主版本号子版本号：当功能有一定的增加或变化，增加该版本号补丁版本号：一般是修复bug或优化原有功能，还有一些小的变动，都可以通过升级该版本号日期版本号（build 阅读全文
posted @ 2022-06-01 18:30
活不明白
阅读(34)
评论(0)
推荐(0)
摘要：
json对象里面可能有100个k-v，移除50个，保留50个 最近优化存储有用到，对于已经get_json_object解析到的就从原始的字段里踢出去，避免重复存储。 import com.google.gson.Gson; import com.google.gson.JsonObject; im 阅读全文
posted @ 2022-02-15 16:16
活不明白
阅读(40)
评论(0)
推荐(0)
摘要：
先说结论，两者没有区别，先看执行计划 1、group by explain select prov_id from dim.dim_city group by prov_id ; STAGE DEPENDENCIES: Stage-1 is a root stage Stage-0 depends 阅读全文
posted @ 2022-02-13 18:19
活不明白
阅读(51)
评论(0)
推荐(0)
摘要：
看下join的执行过程，还是看explain计划。 sql代码如下： explain select t1.prov_id ,t2.deep from ( select prov_id ,deep from dim.dim_city where prov_id = 110000 ) t1 join ( 阅读全文
posted @ 2022-02-13 17:22
活不明白
阅读(49)
评论(0)
推荐(0)
摘要：
对于简单的hivesql，看懂执行计划能细致的知道怎么优化 对于如下这一段简单的sql，看下explain出来的内容 select prov_id ,deep ,count(1) as num from dim.dim_city where prov_id = 110000 and deep = 1 阅读全文
posted @ 2022-02-13 16:16
活不明白
阅读(133)
评论(0)
推荐(0)
摘要：
日常使用较少，主要记录grouping sets,cube,rollup这三个分组聚合。 首先，使用高级分组聚合的语法时，要注意hive是否开启了向量模式。 set hive.verctorized.execution.enabled = true; 1、grouping sets select p 阅读全文
posted @ 2022-02-13 15:13
活不明白
阅读(111)
评论(0)
推荐(0)
摘要：
主要记录下streaming模式下动态分区怎么写文件，sql模式直接写就是了，streaming模式需要自己写下分区方法。大致的数据流程是消费kafka，拆解json，数据写到hdfs(sequenceFile)路径。 1、分区需要自定义，这里是读取流数据，获取分区字段 package partit 阅读全文
posted @ 2022-01-09 10:59
活不明白
阅读(177)
评论(0)
推荐(0)
摘要：
很早就看过一点，看的不连续，今天专门花时间完整看一遍总结下这本书里自己关注的知识点和自己的一些思考，算是读书笔记吧。 2.2.1页面事件 1、这里说到页面型日志上报的时候，进入页面和离开页面成对使用和上报以解决使用时长问题。 个人记录：这个策略很好，成对上报进入页面也记录下，使用方便，要不还要再处理 阅读全文
posted @ 2021-12-26 17:53
活不明白
阅读(61)
评论(0)
推荐(0)
摘要：
帮一个前同事搞一个分组合并居中，还是查了半天，记录下 一、前后效果对比 二、操作步骤 1、选中A列，分类汇总 2、选中A2-A21，ctrl+g定位条件，选空值，然后写=A1，ctrl+enter，然后点退回键，删除刚才条件里面的数据，然后直接点合并后居中 3、 然后筛选删除刚才新加的这一行，就删除 阅读全文
posted @ 2021-12-11 18:26
活不明白
阅读(190)
评论(0)
推荐(0)
摘要：
十一之前写了个实时的维表，flink-sql实现的，技术上并不难，之前没写过，还是踩了一些坑的，特此总结下 一、需求背景 1、离线有个用户的维度表，需要搬到流上面，大概是1000万的存量数据，上游来自8个mysql表 2、可用的组件有kafka，flink，hbase，redis 3、8个表每个变更 阅读全文
posted @ 2021-10-07 22:57
活不明白
阅读(100)
评论(0)
推荐(0)
浙公网安备 33010602011771号