摘要:
大纲 了解什么是Hbase 了解列式数据库与行式数据库的区别 了解hbase的架构 掌握Hbase的部署和安装 掌握Hbase的CRUD操作 实现京东的“规格和包装”功能案例 Hbase高级部分 1、了解Hbase 1.1、什么是Hbase 官网:https://hbase.apache.org/ 阅读全文
摘要:
阅读全文
摘要:
阅读全文
摘要:
一般来说,在执行shuffle类的算子的时候,比如groupByKey、reduceByKey、join等。 其实算子内部都会隐式地创建几个RDD出来。那些隐式创建的RDD,主要是作为这个操作的一些中间数据的表达,以及作为stage划分的边界。 因为有些隐式生成的RDD,可能是ShuffledRDD 阅读全文
摘要:
1、数据倾斜的原理 2、数据倾斜的现象 3、数据倾斜的产生原因与定位 在执行shuffle操作的时候,大家都知道,我们之前讲解过shuffle的原理。 是按照key,来进行values的数据的输出、拉取和聚合的。 同一个key的values,一定是分配到一个reduce task进行处理的。 多个k 阅读全文