摘要：
## 自定义日期时间函数### 1、介绍日期是在统计过程期间经常涉及的一个维度，但计算有偏复杂。 阅读全文
摘要：
## 博客园-博文自动发布工具### 1、介绍该工具内置自动将本地的markdown文件通过metaWebBlog协议上传到博客园（也可以是其他支持该协议的博客网站），并内置图床功能，省去编写博文时上传图片的麻烦。该工具配合typora markdown编写工具是最佳组合。实时预览与数学公式及希腊字母表的完美组合，是大数据学习过程间的学习利器。该工具截图如下：![](http://www.it18... 阅读全文
摘要：
## 统计指标### 1、概述统计指标主要是统计设备数，因此所谓的用户活跃数也是指设备来讲的。### 2、主要统计指标- 新增用户数 首次安装打开应用的设备，卸载再安装不是新增。日新增、周新增、月新增，需要全表扫描，周和月可以通过日新增累加求得。 - 日新增用户 [stat_new_day.sql] ```mysql -- 日新增用户 select t2.* ... 阅读全文
摘要：
## 脚本化加载文件与转储### 1、加载数据到原生表#### 1.1 介绍由于每天都会产生大量的日志数据，需要对每天的日志进行加载与清洗以及转储，编写脚本文件后，通过azkaban进行调度即可。#### 1.2 编写load_data_to_hive_raw_logs.sql加载数据到hive原生表，注意使用的动态分区，每天只加载前一天的数据。其中#号部分是需要替换成具体的时间值。```sql-... 阅读全文