摘要： 背景 由于公司CDH集群资源有限，在使用Hbase对数据厂商上报数据文件进行解析写入hbase过程中，一旦遇到数据上报峰值（如历史数据批量上报，异常数据批量重传），都会导致Hbase可用机器资源不足，导致Hbase服务异常终止。尝试调试解析数据文件的并发线程数及Hbase服务的可分配内存资源均不能有 阅读全文

摘要： 问题描述 现有几千条数据，需要插入到对应的Hive/Impala表中。安排给了一个同事做，但是等了好久，反馈还没有插入完成……看到他的做法是：对每条数据进行处理转换为对应的insert语句，但是，实际执行起来，速度很慢，每条数据都要耗时1s左右。比在MySQL中批量插入数据慢多了，因而抱怨Impal 阅读全文