摘要: 美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。 《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。 第一部分架构和设计,将主要着眼于日志收 阅读全文
posted @ 2017-04-27 18:55 无尽的缥缈 阅读(409) 评论(0) 推荐(0) 编辑
摘要: 虽然比较久,但是这套架构已经很成熟了,记录一下 一般数据流向,从“数据采集--数据接入--流失计算--数据输出/存储”<ignore_js_op> 1).数据采集 负责从各节点上实时采集数据,选用cloudera的flume来实现 2).数据接入 由于采集数据的速度和数据处理的速度不一定同步,因此添 阅读全文
posted @ 2017-04-27 17:09 无尽的缥缈 阅读(404) 评论(0) 推荐(0) 编辑
摘要: http://www.cnblogs.com/huangxincheng/archive/2012/02/18/2356595.html 阅读全文
posted @ 2017-04-27 16:49 无尽的缥缈 阅读(148) 评论(0) 推荐(0) 编辑
摘要: 概念:http://www.aliued.cn/2010/09/13/ab-testing-basic-concept.html 我们先来看一个图: (注:感谢Algo提供本图。) 上图展示了 A/B 测试的实现原理。从左到右,四条较粗的竖线代表了 A/B 测试中的四个关键角色:客户端(Client 阅读全文
posted @ 2017-04-27 11:33 无尽的缥缈 阅读(278) 评论(0) 推荐(0) 编辑