摘要: 为啥学spark 中间结果输出:基于MapReduce的计算引擎通常会将中间结果输出到磁盘上,进行存储和容错。出于任务管道承接的,考虑,当一些查询翻译到MapReduce任务时,往往会产生多个Stage,而这些串联的Stage又依赖于底层文件系统(如HDFS)来存储每一个Stage的输出结果 Spa 阅读全文
posted @ 2021-06-22 17:58 泷十三 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 为啥学scala 因为简单,清晰,在windows下可以很直观的表现 安装JDK 安装Scala(一直下一步就行) windows下安装 不会的看这篇文章 windows下scala安装 linux下安装 解包:tar -zxvf scala-2.11.8.tgz 配置环境变量 vim /etc/p 阅读全文
posted @ 2021-06-22 13:37 泷十三 阅读(102) 评论(0) 推荐(0) 编辑