2022 年 11月随笔档案 - wzyy - 博客园

随笔 - 154 文章 - 0 评论 - 18 阅读 - 24万

11 2022 档案

Spark架构设计及常用算子

摘要：一、架构设计 Driver根据用户代码构建计算流图，拆解出分布式任务并分发到 Executors 中去；每个Executors收到任务，然后处理这个 RDD 的一个数据分片子集 DAGScheduler根据用户代码构建 DAG；以 Shuffle 为边界切割 Stages；基于 Stages 创建阅读全文

posted @ 2022-11-04 15:38 wzyy 阅读(241) 评论(0) 推荐(1) 编辑

昵称： wzyy
园龄： 9年11个月
粉丝： 22
关注： 25

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论

1. Re:Docker部署Nginx
使用目录映射时，文件改动后，还是需要重置修改目录权限
--水云间1980
2. Re:Hive与Clickhouse对比
大佬总结的很好呀
--Bayen
3. Re:Spark: Cluster Computing with Working Sets
写得真不错啊
--YYJY
4. Re:docker部署nginx
总结很不错，不过现在是云原生微服务时代了，还用啥nginx呢，用Kong她不更香吗？
--chinaspx
5. Re:Spring AOP 5种通知与java动态代理
对我有帮助，我顶！
--旅祸少年