MapReduce Shuffle And Sort
摘要：引言MapReduce作出保证：进入每个Reducer的数据行都是有序的（根据数据行的键值进行排序）。MapReduce将Mapper的输出进行排序并传递给Reducer作为输入的过程称为Shuffle。在很多场景下，Shuffle是整个MapReduce过程的核心，也是“奇迹”发生的地方，如下图所...
阅读全文
摘要：引言在系统构建完成之后，我们通常会使用REST API对外提供服务，在REST API的处理过程中经常会出现一些异想不到的问题（用户权限不足、参数不全、数据库访问异常等），导致请求失败，很多时候用户并不能理解这些失败是如何造成的，他们更多的是直接找到相应的开发者询问：“我的这个接口失败了，没有拿到数...
阅读全文
摘要：引言假设HBase某张表有1000个Region，里面存储着100万行数据，现在需要统计满足某些条件的行数，普通的做法是使用Filter（过滤条件），通过HBase API将满足过滤条件的行数据Scan至客户端之后进行汇总，这需要在HBase RegionServer与Client之间传送大量的数据...
阅读全文
摘要：布隆过滤器用于测试某一元素是否存在于给定的集合中，是一种空间利用率很高的随机数据结构（probabilistic data structure），存在一定的误识别率（false positive），即布隆过滤器报告某一元素存在于某集合中，但是实际上该元素并不在集合中，但是没有错误识别的情形（fals...
阅读全文
摘要：HFileBlock官方源码注释：ReadingHFileversion 1 and 2 blocks, and writing version 2 blocks.In version 1 all blocks are always compressed or uncompressed, as sp...
阅读全文
