09 2018 档案

摘要:使用flink来读写hudi有2种API,一个是Flink SQL API,另一个是DataStream API,参考 https://hudi.apache.org/cn/docs/flink-quick-start-guide 1.Flink SQL API 首先启动yarn session / 阅读全文
posted @ 2018-09-25 16:31 tonglin0325 阅读(374) 评论(0) 推荐(0) 编辑
摘要:wherehows是Linkedin开源的大数据治理框架,提供了元数据管理,数据血缘,数据预览,集成多种数据源的功能,最近在进行调研工作 类似的框架有Netflix的metacat,这个两个开源项目都是坑不少,目前还在踩坑阶段中...由于网上关于这两个项目的文章有价值,本文希望能对你有帮助 其他公司 阅读全文
posted @ 2018-09-18 16:41 tonglin0325 编辑
摘要:elephant-bird是Twitter的开源项目,项目的地址为 https://github.com/twitter/elephant-bird 该项目是Twitter为LZO,thrift,protocol buffer相关的hadoop InputFormats, OutputFormats 阅读全文
posted @ 2018-09-12 19:06 tonglin0325 阅读(537) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示