随笔分类 - 大数据项目
摘要：BigData 任重而道远 spark.apache.org/ https://flink-china.org https://stackoverflow.com/ https://mvnrepository.com/ https://github.com/star521li https://www
阅读全文
摘要：flume自定义源防丢失 解决flume还未收集完日志便已经滚动，数据丢失问题 防重、防丢失 改造exec源 ：监控目录、收集新文件 增加个守护线程不断监控目录 一次收集完一个文件 redis 3号库维护key 防止重复 UmengExecSource
阅读全文
摘要：ChannelProcessor processEventBatch() 参照主机名拦截器HostInterceptor 写限速拦截器 实现 Interceptor
阅读全文
摘要：azkaban资源调度 1、启动azkaban 2、azkban web执行器 8081 3、s101:8081 4、jar包目录 创建有依赖关系dependencies的多个job描述 1_load_data_to_hive_raw_logs.job 2_1_data_clean_startupl
阅读全文
摘要：使用ssm进行数据可视化 1.添加web支持 maven ssm框架 依赖 web.xml文件 beans.xml mybatis-config.xml Stat-act-daymapper.xml Sql语句 。。。。。。。。。。。。。 。。。。。。。。。。 展示 添加部署 添加tomcat 把可
阅读全文
摘要：sqoop导出数据到mysql 需要启动yarn start-yarn.sh sqoop导出hive统计数据到mysql 1.复制mysql驱动程序到sqoop/lib下 2.在mysql中创建表 create table stat_act_day( day varchar(50), appid v
阅读全文
摘要：一、flume限速拦截 flume架构图 flume源码查看分析 ExecSource exec数据源--实时收集 限速拦截器 代码实现 拦截器 Interceptor 接口 通过第一次发送的时间计算出 ，发送一个事件本应该所需的时间，与实际发送的时间做对比。如果实际的发送时间<本应该花费的时间，说
阅读全文
摘要：从redis中查询月留存率 StatRemainRatioMonth 执行sql语句
阅读全文
摘要：实时存储到redis，更新用户使用时间的最大、最小值--》来求留存率 避免全表扫描问题 1.spark 对接kafka 消费者 解析json 2.concat(appid,'#',appversion,'#',brand,'#',appplatform,'#',devicestyle,'#',ost
阅读全文
摘要：连续活跃用户 近期流失用户 留存用户
阅读全文
摘要：月活率 沉默用户 周回流用户
阅读全文
摘要：新增用户 全表扫描 启动时间的最小值所在的天 各个维度下 with cube 昨日新增 第一次启动时间（启动时间最小值）在昨天的设备id stat_new_day.sql use big12_umeng ; create table if not exists stat_new_day( day s
阅读全文
摘要：定位分区-->with cube维度组合 --> 去null过滤 > 日活跃用户 spark执行代码 调用工具类 执行sql工具类：ExecSQLUtil public class StatDayActJava{ public static void main(String[] args) thro
阅读全文
摘要：funcs.sql 删除自定义函数、注册自定义函数
阅读全文
摘要：日期工具类、UTF自定义日期函数 日期函数工具类 DateUtil 以date为参照，查询指定按照day、Month、week进行偏移日期时间格式 /** * 以date为参照，查询指定按照day进行偏移日期时间格式 */ public static String formatDay(Date da
阅读全文
摘要：资源文件工具类把sql脚本转换为String字符串 >交给sql工具类ExecSQLUtil执行sql 1.资源文件工具类(ResourceUtil) 把sql脚本转换为String字符串 /** * 资源文件工具类 */ public class ResourceUtil { /** * 以Str
阅读全文
摘要：统计指标 1.新增用户数 新增加的用户,时间维度。日新 去重 首次访问的用户 全表扫描 2.活跃 日活 月活 去重 分区表 ym/day 3.月活率 月活跃用户数占总用户数的比例（月活数 / 总用户数）。 4.沉默用户 安装启动一次，以后没有再使用,有时间长度限制(一周)。 5.本周回流 注册时>
阅读全文
摘要：pySpark不用编译 1.利用java程序生成分区转储SQL语句 java程序 @Test public void genSQL() throws IntrospectionException { Class[] classes = { AppStartupLog.class , AppEvent
阅读全文
摘要：配置nginx的日志滚动 使用linux的crod调度器，周期性生成新文件。 [编写滚动脚本 /usr/local/bin/umeng_roll_log.sh] chmod 777 修改可执行权限 #!/bin/bash dateStr=`date '+%Y-%m-%d-%H-%M'` mv /us
阅读全文
摘要：打包过程参照 09友盟项目 2.启动zk hdfs yarn hive 3.拆分函数 注册函数 hive> add jar /soft/hive/lib/umeng_hive.jar ; 创建函数 drop function forkstartuplogs ; drop function forke
阅读全文
