摘要: 拆分日志为五个表 动态生成日志类对应的建日志表的sql 语句 1.util包下 》 LogUtil 通过内省的方式的到成员变量 2.测试并生成五个类对应的5个表的建表sql语句 代码 create table if not exists appstartuplogs ( appchannel str 阅读全文
posted @ 2018-10-30 19:13 star521 阅读(297) 评论(0) 推荐(0) 编辑
摘要: 收集kafka消息到hdfs 开hdfs start-dfs.sh 1.说明 每天上报的日志可能会含有以前的日志数据。但是每天上报的日志在一个以日期分割的目录内。 ym/day 2.umeng_kafka_to_hdfs.conf a1.sources = r1 a1.channels = c1 a 阅读全文
posted @ 2018-10-30 16:00 star521 阅读(283) 评论(0) 推荐(0) 编辑
摘要: 收集access.log数据到kafka集群 如果必要 清除原来的日志信息 xcall.sh "echo > /usr/local/openresty/nginx/logs/access.log" 开zk 开redis 开kafka 1 .kafka 主题 创建主题 kafka-topics.sh 阅读全文
posted @ 2018-10-30 15:57 star521 阅读(439) 评论(0) 推荐(0) 编辑
摘要: 代码升级 redis工具类 1 package com.star.phone.util; 2 3 4 import com.star.phone.domain.DeviceInfo; 5 import redis.clients.jedis.Jedis; 6 7 import java.util.H 阅读全文
posted @ 2018-10-30 15:50 star521 阅读(196) 评论(0) 推荐(0) 编辑