大数据之路

博客园 首页 新随笔 联系 订阅 管理

一、HBase 的TTL 应用的需求

       全链路的持久化为HBase的一个应用场景,主要实现的场景描述如下:

    • 公司所有的业务系统的每一次调用过程称之为一次链路 例如: 用户的每次开启充电,从app端的开始调用,到最后充电桩开始将能量输送到车上,这是一个链路
    • 监控系统会将每次链路经过的服务名、服务的参数、响应时间等过程中的信息从每个服务节点采集后,存储到消息队列,消息队列的数据一部分用于链路分析,同时会将原始数据持久化到hbase
    • 针对有问题的预警,监控系统会将对应的链路地址以预警的方式推送到开发人员
    • 开发人员收到预警消息之后,会查询这次链路过程中的原始数据。
      业务处理流程如下:

       

  • 目前上述场景,每天的写入数据量为2.5T左右,数据条数为15亿左右.由于集群规模不大,并且多个业务公用一套集群,集群的写入和查询压力都比较大,大数据表的读写对集群要求较高,很容易造成集群的不稳定,并且大数据表带来的存储成本也是非常之高的
  • 通过对业务的仅一步分析:
    • 目前hbase保留的业务数据,实际上保留周期7天,就可以满足业务要求,因此hbase中的数据不需要长久保存。基于此,需要开始研究HBase的ttl 验证

二、TTL技术验证

      目前网上关于TTL的验证,版本较多,有一个比较大的问题是,使用TTL之后,数据是否可以自动删除

     集群信息如下:

        集群一:

              HBase: 1.1.2

              存储: HDFS

             参数:hbase.hregion.majorcompaction  值:0

      集群二:

             HBase: 1.1.2

             存储:Azure WASB

             参数:hbase.hregion.majorcompaction  值:0

   验证过程:

        1.创建表

            

      2.开启TTL
          

 

         3.开启数据写入,经过验证发现

              数据可以自动删除

                  表目录和删除的临时目录均可以自动删除

                 /apps/hbase/data/data/default/TTraceTest
                  /apps/hbase/data/archive
 

总结:

    1.1.1.2 版本的hbase 的表开启ttl之后,数据可以自动删除, 目前在小表上进行了2个小时的验证,下一步将在大表写入上开启较长时间的验证(比如TTL 保留7天)

 

posted on 2019-07-12 18:43  小潘  阅读(680)  评论(0编辑  收藏  举报