摘要:
mport org.apache.commons.lang.time.DateUtils; import org.joda.time.DateTime; import org.joda.time.Duration; import org.junit.Test; import java.time.LocalDateTime; import java.time.temporal.ChronoU... 阅读全文
摘要:
前几个月进行的大数据架构的升级: 原来的大数据集群的状况如下: 1)主从模式,从多个日志源采集后, 2)接收端只用了1个flume接收,存储到hdfs上。 3)并不支持实时的数据清洗。 4)存储到hive系统的数据归类不合理,数据没有明显的层级关系,全部从多个源表直接计算输出结果。 另外,原来的同事 阅读全文