实现hive的bitmap同步到doris
背景:
doris提供的hive-udf中:https://doris.apache.org/zh-CN/docs/3.0/ecosystem/hive-bitmap-udf
官网方式如下:
需要使用doris外接hive的元数据地址:hive.metastore.uris
这里有个问题是,很多公司都会有数据安全和权限控制,这个接口一般不会外露。所以官网的方案行不通
解决方式:
依然需要使用doris,同时观察doris支持bitmap_from_bash64
那么我们在doris提供给hive的udf中添加:hive的bitmap转base64. 这样数据通过base64字符串的方式写入到doris,在doris中直接可转化回bitmap数据。 性能不会受到影响
具体代码:
https://github.com/apache/doris/pull/45231