摘要: 需求:采集8类日志数据,并且进入es展示: 方案制定:目前数据采集通用flume+kafka模式,所以采用原有模式,一类服务进入一个topic,然后通过logstash进行数据清洗,最后进入es进行展示。 flume采用tadir 读取数据源,memory 进行缓存,kafka进行sink a1.s 阅读全文
posted @ 2020-06-26 21:07 bioamin 阅读(321) 评论(0) 推荐(0) 编辑
摘要: UDF :user define function 用户自定义函数 一行输入,一行输出 定义Java类并实现org.apache.hadoop.hive.ql.exec.UDF——>覆写evaluate 需求: 将字符串类型的数据 2012-12-31 14:37:36 转换为 2012/12/31 阅读全文
posted @ 2020-06-26 16:29 bioamin 阅读(212) 评论(0) 推荐(0) 编辑