09 2018 档案
摘要:上周,一同学给我发来,他们那里的案例 一看就是新生代产生过多对象,肯定是批量或者循环操作导致的,导致新生代一直在进行回收导致。 如果是老生代出现这样的问题,大部分情况下是列表或者集合导致的。 因此我们在获取数据的时候,往list里面放数据不要放太多,像上篇hbase数据迁移的时候,一次性迁移大概在2
阅读全文
摘要:1.背景调研: 目前存在的hbase数据迁移主要分如下几类: 根据上图,可以看出: 其实主要分为两种方式:(1)hadoop层:因为hbase底层是基于hdfs存储的,所以可以通过把hdfs上的数据拷贝的方式来实现,即:DistCp。 (2)hbase层:主要是基于hbase数据层的 CopyTab
阅读全文

浙公网安备 33010602011771号