摘要: 在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程中遇到的问题,对Flume的功能改进和对系统做的优化。 1 Flume的问题总结 在Flume的使用过程中,遇到的主要问题 阅读全文
posted @ 2018-03-23 14:46 redbear 阅读(913) 评论(0) 推荐(1) 编辑
摘要: 美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。 《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。 第一部分架构和设计,将主要着眼于日志收 阅读全文
posted @ 2018-03-23 14:42 redbear 阅读(1217) 评论(1) 推荐(0) 编辑
摘要: “时至今日,推荐系统已然成了一门显学,个性化推荐成了互联网产品的标配。为此,我知道,好学的你肯定在收藏着朋友圈里流传的相关文章,转发着微博上的相关讨论话题,甚至还会不断奔走在各种大小行业会议之间,听着大厂职工们讲那些干货。推荐系统从搜索引擎借鉴了不少技术和思想,比如内容推荐有不少技术就来自搜索引擎, 阅读全文
posted @ 2018-03-23 11:25 redbear 阅读(3043) 评论(1) 推荐(1) 编辑