2018年11月25日
摘要：
大纲 了解什么是Hbase 了解列式数据库与行式数据库的区别 了解hbase的架构 掌握Hbase的部署和安装 掌握Hbase的CRUD操作 实现京东的“规格和包装”功能案例 Hbase高级部分 1、了解Hbase 1.1、什么是Hbase 官网：https://hbase.apache.org/ 阅读全文
摘要：
阅读全文
摘要：
阅读全文
摘要：
一般来说，在执行shuffle类的算子的时候，比如groupByKey、reduceByKey、join等。 其实算子内部都会隐式地创建几个RDD出来。那些隐式创建的RDD，主要是作为这个操作的一些中间数据的表达，以及作为stage划分的边界。 因为有些隐式生成的RDD，可能是ShuffledRDD 阅读全文
摘要：
1、数据倾斜的原理 2、数据倾斜的现象 3、数据倾斜的产生原因与定位 在执行shuffle操作的时候，大家都知道，我们之前讲解过shuffle的原理。 是按照key，来进行values的数据的输出、拉取和聚合的。 同一个key的values，一定是分配到一个reduce task进行处理的。 多个k 阅读全文