| | | |

2024年1月18日

摘要： 1.local模式基本原理本质：启动一个JVM Process进程（一个进程里面有多个线程），执行任务task local模式可以限制模拟spark集群环境的线程数量，即local[N]或local[*] 其中N代表可以使用N个线程，如果不指定N，默认是1个线程如果是local[*], 则代表R 阅读全文

posted @ 2024-01-18 13:55 zhangmingmingkjz 阅读(1) 评论(0) 推荐(0) 编辑

1.17学习进度

摘要：资源管理层面：1.集群资源管理者（master）：ResourceManager2.单机资源管理者（worker）：NodeManager任务计算层面：单任务管理者（master）：ApplicationMaster单任务执行者（worker）：Task（容器内计算款家的角色）spark运行角色资源阅读全文

posted @ 2024-01-18 13:54 zhangmingmingkjz 阅读(1) 评论(0) 推荐(0) 编辑