实现hive的bitmap同步到doris

背景:

官方提供的方案不可行

doris提供的hive-udf中:https://doris.apache.org/zh-CN/docs/3.0/ecosystem/hive-bitmap-udf

 官网方式如下:

 需要使用doris外接hive的元数据地址:hive.metastore.uris

这里有个问题是,很多公司都会有数据安全和权限控制,这个接口一般不会外露。所以官网的方案行不通

解决方式:

依然需要使用doris,同时观察doris支持bitmap_from_bash64

那么我们在doris提供给hive的udf中添加:hive的bitmap转base64. 这样数据通过base64字符串的方式写入到doris,在doris中直接可转化回bitmap数据。 性能不会受到影响

具体代码:

https://github.com/apache/doris/pull/45231

posted @ 2024-12-17 10:20  niutao  阅读(4)  评论(0编辑  收藏  举报