摘要: 大概两年前写过同样标题的一篇文章,对于这个问题感兴趣的人不少,后台收到不少同学的提问,所以准备细致地解答一下这些问题,希望能解决掉大家90%的疑问。下次再看到相关的提问我会理直气壮地把这篇文章的链接甩你脸上。但是可能又会有同学有疑问了,那剩下10%的疑问怎么办?可以关注我的公众号【老蒙大数据】。 开 阅读全文
posted @ 2020-05-14 10:36 老蒙大数据 阅读(1941) 评论(0) 推荐(3) 编辑
摘要: 数据湖是大数据近年来的网红项目,大家熟知的开源数据湖三剑客 Apache hudi、Apache iceberg 、Databricks delta 近年来野蛮生长,目前各自背后也都有商业公司支持,投入了大量的人力物力去做研发和宣传。然而今天我们要讲的是数据湖界的后起之秀 —— flink-tabl 阅读全文
posted @ 2023-03-01 09:17 老蒙大数据 阅读(1305) 评论(0) 推荐(0) 编辑
摘要: 开源数据湖三剑客 Apache hudi、Apache iceberg 、Databricks delta 近年来大动作不断。 2021年8月,Apache Iceberg 的创始人 Ryan Blue、Dan Weeks 和 Netflix 数据架构总监 Jason Reid 宣布从风投 a16z 阅读全文
posted @ 2023-01-17 09:28 老蒙大数据 阅读(487) 评论(0) 推荐(0) 编辑
摘要: 大数据开源商业化领域近日有一个爆炸性新闻,“Confluent 收购 Immerok”,字越少事越大,先给大家简单科普一下 Confluent 和 Immerok 这两家公司,Confluent 是掌控 Apache Kafka 社区的大数据开源商业化公司,Immerok 是 Apache Flin 阅读全文
posted @ 2023-01-09 09:58 老蒙大数据 阅读(797) 评论(0) 推荐(0) 编辑
摘要: 金三银四,铜五铁六,今年快过去一半了,团队的动荡也接近了尾声,这半年的时间里我面试了大数据方向上百位候选人(主要负责二面或三面),包括实习生、中级工程师、高级工程师、架构师,最大的感受是做大数据这一行的人真的是越来越多了,五六年前大数据招人还得从 Java 开发工程师里面捞人,苦口婆心地劝候选人转方 阅读全文
posted @ 2021-06-09 09:32 老蒙大数据 阅读(3770) 评论(7) 推荐(1) 编辑
摘要: 公众号后台越来越多人问关于数据湖相关的内容,看来大家对新技术还是很感兴趣的。关于数据湖的资料网络上还是比较少的,特别是实践系列,对于新技术来说,基础的入门文档还是很有必要的,所以这一篇希望能够帮助到想使用Hudi的同学入门。 本篇的Hudi使用的是孵化版本 0.5.2;其他依赖 Spark-2.4. 阅读全文
posted @ 2020-05-28 09:10 老蒙大数据 阅读(10787) 评论(1) 推荐(1) 编辑
摘要: 这是大数据入门常识第二篇,主要讨论大数据工作的方向问题。第一篇没看的同学可以补一下: 3000字长文教你大数据该怎么学! 有不少刚入门的同学在后台会问类似这样的问题 看招聘网站上,大数据相关的方向好多,不知道自己适合哪个怎么办? 关注我公众号的同学应该有不少是刚入门的,所以我把内容好好地整理总结了发 阅读全文
posted @ 2020-05-19 09:03 老蒙大数据 阅读(832) 评论(0) 推荐(0) 编辑