2017年6月28日
记一次OGG数据写入HBase的丢失数据原因分析
摘要： 一、现象二、原因排查2.1 SparkStreaming程序排查2.2 Kafka数据验证2.3 查看OGG源码2.3.1 生成Kafka消息类2.3.2 Kafka配置类2.3.3 Kafka 消息发送类2.3.4 Kafka 分区获取方式三、结论 一、现象 目前我们的数据是通过OGG->Kafka->Spark Streaming->HBase。由于之前我们发现HBase的列表put无... 阅读全文
posted @ 2017-06-28 08:58 kekukekro 阅读(5239) 评论(9) 推荐(0) 编辑