阿飞藏泪 - 博客园

摘要： RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合。 Dataset：一个数据集合，用于存放数据的。 Distributed：RDD中的数据是分布式存储的，可用于分布式计算。阅读全文

posted @ 2024-01-13 09:54 阿飞藏泪阅读(10) 评论(0) 推荐(0) 编辑

分布式代码执行分析

摘要： SparkContext对象的构建以及 Spark程序的退出, 由 Driver 负责执行具体的数据处理步骤, 由Executor在执行. 其实简单来说就是: 非数据处理的部分由Driver工作数据处理的部分(干活)由Executor工作要知道: Executor不仅仅是一个, 视集群规模, 阅读全文

posted @ 2024-01-13 09:41 阿飞藏泪阅读(2) 评论(0) 推荐(0) 编辑

2024年1月12日

IDEA抽取

摘要： IDEA可以抽取一些通用一样的代码为一个方法函数，快捷键为Ctrl+Alt+m 阅读全文

posted @ 2024-01-12 21:47 阿飞藏泪阅读(6) 评论(0) 推荐(0) 编辑

ES--RestClient查询文档

摘要：文档的查询同样适用昨天学习的 RestHighLevelClient对象，基本步骤包括： 1）准备Request对象 2）准备请求参数 3）发起请求 4）解析响应 1.快速入门我们以match_all查询为例 1.发起查询请求代码解读：第一步，创建SearchRequest对象，指定索引库名阅读全文

posted @ 2024-01-12 21:44 阿飞藏泪阅读(20) 评论(0) 推荐(0) 编辑

daitu66

公告