阿飞藏泪 - 博客园

2024年1月19日

摘要：场景: 本地集合对象和分布式集合对象(RDD) 进行关联的时候需要将本地集合对象封装为广播变量可以节省:1. 网络IO的次数2. Executor的内存占用阅读全文

posted @ 2024-01-19 15:52 阿飞藏泪阅读(3) 评论(0) 推荐(0) 编辑

摘要：进程和线程是操作系统中的两个基本概念，他们都是用来完成执行任务的，但是有所区别。进程是资源分配的最小单位，它代表 CPU 所能处理的单个任务。每个进程有自己的独立地址空间，每启动一个进程，系统就会为它分配地址空间，建立数据表来维护代码段、堆栈段和数据段。而线程是进程中执行运算的最小单位，它是被系统独阅读全文

posted @ 2024-01-19 15:38 阿飞藏泪阅读(8) 评论(0) 推荐(0) 编辑

查看集群资源

摘要：阅读全文

posted @ 2024-01-19 15:26 阿飞藏泪阅读(10) 评论(0) 推荐(0) 编辑

RDD的CheckPoint

摘要：阅读全文

posted @ 2024-01-19 15:12 阿飞藏泪阅读(2) 评论(0) 推荐(0) 编辑

2024年1月18日

ES和mysql数据同步

摘要： elasticsearch中的数据来自于mysql数据库，因此mysql数据发生改变时，elasticsearch也必须跟着改变，这个就是elasticsearch与mysql之间的数据同步。常见的数据同步方案有三种：同步调用异步通知监听binlog 同步调用基本步骤如下： hotel-d 阅读全文

posted @ 2024-01-18 17:50 阿飞藏泪阅读(47) 评论(0) 推荐(0) 编辑

ES--自动补全查询的JavaAPI

摘要：阅读全文

posted @ 2024-01-18 17:39 阿飞藏泪阅读(9) 评论(0) 推荐(0) 编辑

RDD 的缓存

摘要：阅读全文

posted @ 2024-01-18 16:26 阿飞藏泪阅读(2) 评论(0) 推荐(0) 编辑

groupByKey和reduceByKey的区别

摘要：阅读全文

posted @ 2024-01-18 16:25 阿飞藏泪阅读(4) 评论(0) 推荐(0) 编辑

RDD--join算子

摘要：阅读全文