摘要: hbase 数据获取方式 hbase 数据排序怎么做? 我觉得这个分两种情况,一是数据量比较少,业务上每次拉取所有的数据,可以在客户端做排序,二是数据比较多,需要分页,这种情况下客户端做显然不合适,因为要从服务器拉取所有数据,排序完成,获取某一页,剩余的数据全都不用,资源损耗比较严重,比较推荐做法是 阅读全文
posted @ 2019-10-20 20:22 花未全开*月未圆 阅读(2409) 评论(0) 推荐(0) 编辑
摘要: 面试题引出: 简述Spark的宽窄依赖,以及Spark如何划分stage,每个stage又根据什么决定task个数? Stage:根据RDD之间的依赖关系的不同将Job划分成不同的Stage,遇到一个宽依赖则划分一个Stage。 Task:Stage是一个TaskSet,将Stage根据分区数划分成 阅读全文
posted @ 2019-10-20 20:18 花未全开*月未圆 阅读(1782) 评论(0) 推荐(0) 编辑