上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 20 下一页
摘要: 新增用户 全表扫描 启动时间的最小值所在的天 各个维度下 with cube 昨日新增 第一次启动时间(启动时间最小值)在昨天的设备id stat_new_day.sql use big12_umeng ; create table if not exists stat_new_day( day s 阅读全文
posted @ 2018-11-11 20:59 star521 阅读(1634) 评论(0) 推荐(0) 编辑
摘要: 定位分区-->with cube维度组合 --> 去null过滤 > 日活跃用户 spark执行代码 调用工具类 执行sql工具类:ExecSQLUtil public class StatDayActJava{ public static void main(String[] args) thro 阅读全文
posted @ 2018-11-11 20:51 star521 阅读(2558) 评论(0) 推荐(0) 编辑
摘要: funcs.sql 删除自定义函数、注册自定义函数 阅读全文
posted @ 2018-11-11 20:39 star521 阅读(180) 评论(0) 推荐(0) 编辑
摘要: 删除 输入项目名 阅读全文
posted @ 2018-11-11 20:15 star521 阅读(209) 评论(0) 推荐(0) 编辑
摘要: 选择git 执行文件 连接github 阅读全文
posted @ 2018-11-11 19:59 star521 阅读(132) 评论(0) 推荐(0) 编辑
摘要: 安装anaconda 安装 pycharm 版本冲突 多版本兼容 BeautifulSoup这个库的安装 忽略大小写 mongodb安装 新建 文件夹 /data/db 开启服务端 mongod --dbpath D:\install\mongodb\data\db 查看是否开启 localhost 阅读全文
posted @ 2018-11-11 18:43 star521 阅读(1135) 评论(0) 推荐(0) 编辑
摘要: Linux下快捷键 alt+b 跳转到上一个单词使用alt+f 跳转到下一个单词使用Ctrl+c 结束正在运行的程序Ctrl+d 结束输入或退出shellCtrl+s 暂停屏幕输出【锁住终端】Ctrl+q 恢复屏幕输出【解锁终端】Ctrl+l 清屏,【是字母L的小写】等同于ClearCtrl+a 切 阅读全文
posted @ 2018-11-06 18:50 star521 阅读(419) 评论(0) 推荐(0) 编辑
摘要: 日期工具类、UTF自定义日期函数 日期函数工具类 DateUtil 以date为参照,查询指定按照day、Month、week进行偏移日期时间格式 /** * 以date为参照,查询指定按照day进行偏移日期时间格式 */ public static String formatDay(Date da 阅读全文
posted @ 2018-11-05 22:41 star521 阅读(203) 评论(0) 推荐(0) 编辑
摘要: 资源文件工具类把sql脚本转换为String字符串 >交给sql工具类ExecSQLUtil执行sql 1.资源文件工具类(ResourceUtil) 把sql脚本转换为String字符串 /** * 资源文件工具类 */ public class ResourceUtil { /** * 以Str 阅读全文
posted @ 2018-11-05 22:02 star521 阅读(544) 评论(0) 推荐(0) 编辑
摘要: 统计指标 1.新增用户数 新增加的用户,时间维度。日新 去重 首次访问的用户 全表扫描 2.活跃 日活 月活 去重 分区表 ym/day 3.月活率 月活跃用户数占总用户数的比例(月活数 / 总用户数)。 4.沉默用户 安装启动一次,以后没有再使用,有时间长度限制(一周)。 5.本周回流 注册时> 阅读全文
posted @ 2018-11-05 18:54 star521 阅读(267) 评论(0) 推荐(0) 编辑
摘要: pySpark不用编译 1.利用java程序生成分区转储SQL语句 java程序 @Test public void genSQL() throws IntrospectionException { Class[] classes = { AppStartupLog.class , AppEvent 阅读全文
posted @ 2018-11-05 15:28 star521 阅读(333) 评论(0) 推荐(0) 编辑
摘要: 配置nginx的日志滚动 使用linux的crod调度器,周期性生成新文件。 [编写滚动脚本 /usr/local/bin/umeng_roll_log.sh] chmod 777 修改可执行权限 #!/bin/bash dateStr=`date '+%Y-%m-%d-%H-%M'` mv /us 阅读全文
posted @ 2018-11-04 19:46 star521 阅读(304) 评论(0) 推荐(0) 编辑
摘要: 打包过程参照 09友盟项目 2.启动zk hdfs yarn hive 3.拆分函数 注册函数 hive> add jar /soft/hive/lib/umeng_hive.jar ; 创建函数 drop function forkstartuplogs ; drop function forke 阅读全文
posted @ 2018-11-02 15:09 star521 阅读(328) 评论(0) 推荐(0) 编辑
摘要: 1.日期工具类 import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Date; import java.util.Locale; /** * 日期工具类 */ public clas 阅读全文
posted @ 2018-11-02 08:37 star521 阅读(269) 评论(0) 推荐(0) 编辑
摘要: 1.导出jar,添加依赖的第三方类库 导入第三方依赖的库. 2.添加外部依赖 添加第三方依赖库 3.打jar包 4.传输到centos 找到jar包 5.部署/soft/hive/lib下 6.注册函数 hive>add jar /soft/hive/lib/umeng.jar ; hive> 7. 阅读全文
posted @ 2018-10-31 21:23 star521 阅读(274) 评论(0) 推荐(0) 编辑
上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 20 下一页