摘要： 虽然比较久，但是这套架构已经很成熟了，记录一下 一般数据流向，从“数据采集--数据接入--流失计算--数据输出/存储”<ignore_js_op> 1）.数据采集 负责从各节点上实时采集数据，选用cloudera的flume来实现 2）.数据接入 由于采集数据的速度和数据处理的速度不一定同步，因此添 阅读全文

摘要： http://www.cnblogs.com/huangxincheng/archive/2012/02/18/2356595.html 阅读全文

摘要： 概念：http://www.aliued.cn/2010/09/13/ab-testing-basic-concept.html 我们先来看一个图： （注：感谢Algo提供本图。） 上图展示了 A/B 测试的实现原理。从左到右，四条较粗的竖线代表了 A/B 测试中的四个关键角色：客户端（Client 阅读全文

摘要： 以一个比较两本字典来做例子: 一本字典有索引目录(dict a), 一本没有(dict b) 现在要找出所有a开头的单词的异同 那么比较的时候,你会怎么比较? 合理的做法应该是以没有索引的字典dict b开始, 找到a开头的那一页, 然后对于每个单词, 通过使用索引在dict a中找到相应的条目 如 阅读全文

摘要： 在目前的企业IT架构中，系统管理员以及DBA都会考虑使用NoSQL数据库来解决RDBMS所不能解决的问题，特别是互联网行业。传统的关系型数据库主要以表(table)的形式来存储数据，而无法应对非结构化数据的挑战。在进行数据标准化的过程中，关系型数据库性能遭遇了瓶颈。 NoSQL顾名思义就是Not-O 阅读全文

摘要： 之前的文章《更高的压缩比，更好的性能–使用ORC文件格式优化Hive》中介绍了Hive的ORC文件格式，它不但有着很高的压缩比，节省存储和计算资源之外，还通过一个内置的轻量级索引，提升查询的性能。这个内置的轻量级索引，就是下面所说的Row Group Index。 其实ORC支持的索引不止这一种，还 阅读全文

摘要： Hive从0.11版本开始提供了ORC的文件格式，ORC文件不仅仅是一种列式文件存储格式，最重要的是有着很高的压缩比，并且对于MapReduce来说是可切分（Split）的。因此，在Hive中使用ORC作为表的文件存储格式，不仅可以很大程度的节省HDFS存储资源，而且对数据的查询和处理性能有着非常大 阅读全文

摘要： 本文来自：http://blog.csdn.net/yu616568/article/details/52431835 如有侵权 可立即删除 背景 随着大数据时代的到来，Hadoop在过去几年以接近统治性的方式包揽的ETL和数据分析查询的工作，大家也无意间的想往大数据方向靠拢，即使每天数据也就几十、 阅读全文

摘要： 本文转自：http://blog.csdn.net/yu616568/article/details/48103415 ，如有侵犯，立刻删除。 Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的 阅读全文

摘要： 本文转载 作为数据库管理员来说，要在表上建立索引很简单。但是要知道这个索引是否合适、如何优化索引则就具有一定的难度。这项工作也是用来评价一个数据库管理员是否算得上专家的一个重要指标。那么为什么索引优化有这么大的难度呢?这主要是因为索引优化是考察一个数据库管理员经验的时候。笔者今天就跟大家分享一下这方 阅读全文