摘要:
1. 起因 一次hive查数过程中,发现hive中缺省了10天的近3000w的数据,自问自答:怎么办,当然是要补数啊!从哪里补,mongo啊(还好mongo中有一份)! mongo中数据是bson保存,而且数据列与hive不一样! 2. 解决方案 方案1: 思路:由于 只能以逗号分割字段,所以要导到 阅读全文
摘要:
前言 :用最简单最少的语言,分享我的坑,理不理解需求不重要,问题都在shell代码中,看shell极度枯燥,希望能有帮助! 一. 起因 需求,分析hive表中两年内用户XX的所有数据,按照每天早,中,晚三个时间段统计,按照两年内的节假日统计,按照月份的上旬,中旬,下旬统计,按照周末,工作日统计等等。 阅读全文