2021年8月16日
Spark相关总结（1）
摘要： 1.大数据处理框架 1.1 四层结构 大数据处理框架一般可以大致分为四层结构： 用户层 分布式数据并行处理层 资源管理与任务调度层 物理执行层 下面分别就四层进行详细解释。 1.1.1 用户层 主要包括： 输入数据：考虑数据如何高效读取（减少磁盘I/O）、批式和流式不同的读取方式等 用户代码 配置参 阅读全文
posted @ 2021-08-16 23:50 马晟 阅读(137) 评论(0) 推荐(0) 编辑