摘要: 1.分布式日志收集系统:背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;(3) 具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩展。2.分布式日志收集系统:Facebook Scribe主要内容(1)Scribe简介及系统架构(2)Scribe技术架构(3)Scribe部署结构(4)Scribe主要功能和使用方案(5)Scribe的具体应用 阅读全文
posted @ 2012-04-08 10:37 vivianC 阅读(301) 评论(0) 推荐(0) 编辑
摘要: 记录UMLhttp://cloud.ozyegin.edu.tr/Hadoop-UML-Diagrams/Documentation/html/d2/d77/namespaceorg_1_1apache_1_1hadoop_1_1hdfs.htmljava code: TestUtilhttp://grepcode.com/file/repository.cloudera.com/content/repositories/releases/org.apache.hadoop/hadoop-test/0.20.2-cdh3u1/org/apache/hadoop/hdfs/DFSTestUtil 阅读全文
posted @ 2012-04-08 10:29 vivianC 阅读(470) 评论(0) 推荐(0) 编辑