Loading

2024年7月22日
Hudi与Spark结合使用
摘要： Hudi与Spark结合 💡 本指南总结Hudi基于spark-shell、spark-submit(java案例)，使用spark datasource来演示Hudi的操作Hudi表的插入、更新、读取快照和增量数据等功能。 Hudi背景 Hudi（Hadoop Update Delete Inc 阅读全文
posted @ 2024-07-22 10:59 集君 阅读(19) 评论(0) 推荐(0) 编辑
Hudi测试
摘要： 实验环境 minio-8.0.10 http://192.168.137.100:32000/minio/bigdata/ spark-operator-1.1.26 spark-history-server 3.2.2 http://192.168.137.100:32627/ 测试案例 案例hu 阅读全文
posted @ 2024-07-22 10:46 集君 阅读(2) 评论(0) 推荐(0) 编辑
Spark 3.2使用体验
摘要： 👀 单机安装部署 基于官网：spark-3.2.2-bin-hadoop3.2.tgz包 测试机器：hyper-v test001 路径： /home/soft/spark-3.2.2-bin-hadoop3.2 修改spark-defaults.conf # Example: # spark.m 阅读全文
posted @ 2024-07-22 10:44 集君 阅读(6) 评论(0) 推荐(0) 编辑