2019年2月12日
YARN 集群的资源分配
摘要： YARN 集群在分配任务时，存在两种方式 1. DefaultResourceCalculator，只考虑内存（memory），每个 container 的 cpu 资源都分配 1 个。 2. DominantResourceCalculator，同时考虑内存（memory）和 cpu 资源。 在 阅读全文
posted @ 2019-02-12 22:38 徐软件 阅读(1376) 评论(0) 推荐(0) 编辑
spark bulkload hbase笔记
摘要： 1. 现有的三方包不能完全支持 - 官方：hbase-spark，不能设置 timestamp - unicredit/hbase-rdd：接口太复杂，不能同时支持多个 family 2. HFile 得是有序的，排序依据 KeyValue.KVComparator，于是我们自定义一个 Compar 阅读全文
posted @ 2019-02-12 14:00 徐软件 阅读(2514) 评论(3) 推荐(2) 编辑