摘要:
需求:采集8类日志数据,并且进入es展示: 方案制定:目前数据采集通用flume+kafka模式,所以采用原有模式,一类服务进入一个topic,然后通过logstash进行数据清洗,最后进入es进行展示。 flume采用tadir 读取数据源,memory 进行缓存,kafka进行sink a1.s 阅读全文
摘要:
UDF :user define function 用户自定义函数 一行输入,一行输出 定义Java类并实现org.apache.hadoop.hive.ql.exec.UDF——>覆写evaluate 需求: 将字符串类型的数据 2012-12-31 14:37:36 转换为 2012/12/31 阅读全文