2021年11月14日

Delta Sharing 最近新特性

摘要: Delta Sharing 发布了0.2.0 支持了一个新的特性 新特性 官方docker 镜像 添加了conf 目录,方便支持hadoop 等的配置(比如自定义s3的。。。) 说明 目前来说Delta Sharing对于spark 周边支持的还是比较好的,但是还是稍等一些生态,是一种不错的数据共享 阅读全文

posted @ 2021-11-14 23:58 荣锋亮 阅读(51) 评论(0) 推荐(0) 编辑

haproxy dataplaneapi

摘要: haproxy dataplaneapi 今年的变动还是比较大的,比如支持了服务发现(consul,aws。。。)而且配置文件也支持了yaml,hcl 等格式的 说明 类似基于agent 模式的设计模式也是一种比较常见的玩法,比如基于confd的nginx 管理,以及百度bfe 的agent 玩法h 阅读全文

posted @ 2021-11-14 23:35 荣锋亮 阅读(104) 评论(0) 推荐(0) 编辑

apache kyuubi + dremio 集成试用

摘要: 主要是一个玩法的集成,使用apache kyuubi 简化spark 的使用,而且如果我们集成数据库存储格式也是很方便的(感谢网易做出的贡献) 参考图 简单说明: 我们直接基于apache kyuubi 进行delta lake 的操作,数据存储到minio s3 中,然后使用dremio 强大的能 阅读全文

posted @ 2021-11-14 21:05 荣锋亮 阅读(811) 评论(0) 推荐(0) 编辑

apache kyuubi 参考架构集成

摘要: apache kyuubi 是网易开源支持多租户大规模的thrift jdbc/odbc 平台(当前主要基于spark,当然也会支持其他引擎)使用apache kyuubi 的好处是支持开了多租户,同时利用apache kyuubi 我们可以方便的进行数据分析开发,以及进行数据湖应用开发(可以方便的 阅读全文

posted @ 2021-11-14 12:39 荣锋亮 阅读(504) 评论(0) 推荐(0) 编辑

导航