摘要：
flume自定义源防丢失 解决flume还未收集完日志便已经滚动，数据丢失问题 防重、防丢失 改造exec源 ：监控目录、收集新文件 增加个守护线程不断监控目录 一次收集完一个文件 redis 3号库维护key 防止重复 UmengExecSource 阅读全文
摘要：
ChannelProcessor processEventBatch() 参照主机名拦截器HostInterceptor 写限速拦截器 实现 Interceptor 阅读全文
摘要：
// // _ooOoo_ // o8888888o // 88" . "88 // (| -_- |) // O\ = /O... 阅读全文
摘要：
azkaban资源调度 1、启动azkaban 2、azkban web执行器 8081 3、s101:8081 4、jar包目录 创建有依赖关系dependencies的多个job描述 1_load_data_to_hive_raw_logs.job 2_1_data_clean_startupl 阅读全文
摘要：
使用ssm进行数据可视化 1.添加web支持 maven ssm框架 依赖 web.xml文件 beans.xml mybatis-config.xml Stat-act-daymapper.xml Sql语句 。。。。。。。。。。。。。 。。。。。。。。。。 展示 添加部署 添加tomcat 把可 阅读全文
摘要：
sqoop导出数据到mysql 需要启动yarn start-yarn.sh sqoop导出hive统计数据到mysql 1.复制mysql驱动程序到sqoop/lib下 2.在mysql中创建表 create table stat_act_day( day varchar(50), appid v 阅读全文
摘要：
一、flume限速拦截 flume架构图 flume源码查看分析 ExecSource exec数据源--实时收集 限速拦截器 代码实现 拦截器 Interceptor 接口 通过第一次发送的时间计算出 ，发送一个事件本应该所需的时间，与实际发送的时间做对比。如果实际的发送时间<本应该花费的时间，说 阅读全文
摘要：
从redis中查询月留存率 StatRemainRatioMonth 执行sql语句 阅读全文