09 2018 档案

摘要:上周,一同学给我发来,他们那里的案例 一看就是新生代产生过多对象,肯定是批量或者循环操作导致的,导致新生代一直在进行回收导致。 如果是老生代出现这样的问题,大部分情况下是列表或者集合导致的。 因此我们在获取数据的时候,往list里面放数据不要放太多,像上篇hbase数据迁移的时候,一次性迁移大概在2 阅读全文
posted @ 2018-09-25 15:16 诸葛子房 阅读(1180) 评论(0) 推荐(0)
摘要:1.背景调研: 目前存在的hbase数据迁移主要分如下几类: 根据上图,可以看出: 其实主要分为两种方式:(1)hadoop层:因为hbase底层是基于hdfs存储的,所以可以通过把hdfs上的数据拷贝的方式来实现,即:DistCp。 (2)hbase层:主要是基于hbase数据层的 CopyTab 阅读全文
posted @ 2018-09-07 18:47 诸葛子房 阅读(899) 评论(0) 推荐(0)