实现hive的bitmap同步到doris
背景:
官方提供的方案不可行
doris提供的hive-udf中:https://doris.apache.org/zh-CN/docs/3.0/ecosystem/hive-bitmap-udf
官网方式如下:
需要使用doris外接hive的元数据地址:hive.metastore.uris
这里有个问题是,很多公司都会有数据安全和权限控制,这个接口一般不会外露。所以官网的方案行不通
解决方式:
依然需要使用doris,同时观察doris支持bitmap_from_bash64
那么我们在doris提供给hive的udf中添加:hive的bitmap转base64. 这样数据通过base64字符串的方式写入到doris,在doris中直接可转化回bitmap数据。 性能不会受到影响
具体代码:
https://github.com/apache/doris/pull/45231
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步