摘要: 大数据本身是一座金矿、一种资源,沉睡的资源是很难创造价值的,它必须经过清洗、分析、建模、可视化等过程加工处理之后,才真正产生价值。 数据加工、清洗的过程与机械加工的流水线生产过程相似。例如,从各个渠道采集到的数据质量很差,于是就需要对数据进行“脱敏”以及“包装”,最终呈现在用户面前时是一个个数据产品 阅读全文
posted @ 2017-07-05 23:08 N神3 阅读(5980) 评论(0) 推荐(1) 编辑
摘要: 如何收集系统日志并进行分析的? 实时模式: 1 在打印日志的服务器上部署agent2 agent使用低耗方式将日志增量上传到计算集群3 计算集群解析日志并计算出结果,尽量分布式、负载均衡,有必要的话(比如需要关联汇聚)则采用多层架构4 计算结果写入最适合的存储(比如按时间周期分析的结果比较适合写入T 阅读全文
posted @ 2017-07-05 22:48 N神3 阅读(435) 评论(0) 推荐(0) 编辑
摘要: 日志采集、加工、分析、归档有着一套流程。 阅读全文
posted @ 2017-07-05 22:39 N神3 阅读(118) 评论(0) 推荐(0) 编辑
摘要: 为什么storm的数据来自于消息队列? 阅读全文
posted @ 2017-07-05 21:17 N神3 阅读(1097) 评论(0) 推荐(0) 编辑