摘要: 日志数据清洗,主要采用spark 的定时任务,清洗出有效数据,并保存到hive数据仓库中存储。常用流程如下: 参考:https://gaojianhua.gitbooks.io/bigdata-wiki/content/sparkclean.html 阅读全文
posted @ 2017-05-07 20:54 moonandstar08 阅读(1571) 评论(0) 推荐(0) 编辑