2021年12月21日
Flink MySQL cdc分别sink到ES、Kafka、Hudi并通过spark-sql加载Hudi表
摘要： ####hadoop、spark、flink、kafka、zookeeper安装参照本博客部署安装 ####组件版本选择 hadoop2.7.5 spark-2.4.8-bin-hadoop2.7 flink-1.13.1-bin-scala_2.11 kafka_2.13-2.6.2 zookee 阅读全文
posted @ 2021-12-21 22:06 菜鸟孤单 阅读(2105) 评论(0) 推荐(0) 编辑
spark集群安装部署
摘要： ####1.在官网下载spark安装包 # wget https://archive.apache.org/dist/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz ####2.解压 # tar -zxvf spark-2.4.8-bin-hadoop 阅读全文
posted @ 2021-12-21 19:24 菜鸟孤单 阅读(277) 评论(0) 推荐(0) 编辑