09 2018 档案
摘要:使用flink来读写hudi有2种API,一个是Flink SQL API,另一个是DataStream API,参考 https://hudi.apache.org/cn/docs/flink-quick-start-guide 1.Flink SQL API 首先启动yarn session /
阅读全文
摘要:wherehows是Linkedin开源的大数据治理框架,提供了元数据管理,数据血缘,数据预览,集成多种数据源的功能,最近在进行调研工作 类似的框架有Netflix的metacat,这个两个开源项目都是坑不少,目前还在踩坑阶段中...由于网上关于这两个项目的文章有价值,本文希望能对你有帮助 其他公司
阅读全文
摘要:elephant-bird是Twitter的开源项目,项目的地址为 https://github.com/twitter/elephant-bird 该项目是Twitter为LZO,thrift,protocol buffer相关的hadoop InputFormats, OutputFormats
阅读全文