摘要: Hadoop中: – 一个MapReduce程序就是一个job,而一个job里面可以有一个或多个Task,Task又可以区分为Map Task和Reduce Task – MapReduce中的每个Task分别在自己的进程中运行,当该Task运行完时,进程也就结束 Hadoop中的MapReduce 阅读全文
posted @ 2020-04-09 21:24 xd_xumaomao 阅读(231) 评论(0) 推荐(0) 编辑
摘要: Spark 是使用 scala 实现的基于内存计算的大数据开源集群计算环境.提供了 java,scala, python,R 等语言的调用接口. Hadoop 和 Spark 的关系 Google 在 2003 年和 2004 年先后发表了 Google 文件系统 GFS 和 MapReduce 编 阅读全文
posted @ 2020-04-09 20:27 xd_xumaomao 阅读(215) 评论(0) 推荐(0) 编辑