119学习总结

1.local模式基本原理

本质：启动一个JVM Process进程（一个进程里面有多个线程），执行任务task
local模式可以限制模拟spark集群环境的线程数量，即local[N]或local[*]
其中N代表可以使用N个线程，如果不指定N，默认是1个线程
如果是local[*], 则代表Run Spark laocally with as many worker threads as logical cores on your machine.按照cpu最多的cores设置线程数
local下的角色分布
资源管理
master：local进程本身
worker：local进程本身
任务执行
driver：local进程本身
executor：不存在，没有独立的executor角色，由local进程内的线程提供计算能力
local模式只能运行一个spark程序，如果执行多个spark程序，那就是多个相互独立的local进程在进行
2.bin/pyspark是一个交互式的解释器执行环境，环境启动后就得到了一个local spark环境，可以运行python代码去进行spark计算，类似python自带解释器

3.spark的4040端口：spark的任务在运行后，会在driver所在机器绑定到4040端口，提供当前任务的监控页面供查看