[Spark] Spark 3.0 Accelerator Aware Scheduling - GPU

Ref: Spark3.0 preview预览版尝试GPU调用（本地模式不支持GPU）

预览版本：https://archive.apache.org/dist/spark/spark-3.0.0-preview/

 

 

Ref: Apache Spark3.0什么样？一文读懂Apache Spark最新技术发展与展望

2. Accelerator Aware Scheduling

Spark依赖Accelerator Aware Scheduling来感知GPU计算资源，从而调度深度学习任务。实际上，Spark本身并不直接管理GPU资源，而是通过YARN等资源管理框架在Application Level来申请并获得计算所需的GPU资源。用户可以在Context中获取GPU信息，从而实现GPU计算，完成深度学习任务。需要注意的是，Spark支持的计算加速器并不限于GPU，可以很容易扩展到FPGA等其他加速器类型。

 

 

Ref: Apache Spark 3.0 将内置支持 GPU 调度，文末有福利

 

 

/* implement */