摘要:
Hadoop中: – 一个MapReduce程序就是一个job,而一个job里面可以有一个或多个Task,Task又可以区分为Map Task和Reduce Task – MapReduce中的每个Task分别在自己的进程中运行,当该Task运行完时,进程也就结束 Hadoop中的MapReduce 阅读全文
摘要:
Spark 是使用 scala 实现的基于内存计算的大数据开源集群计算环境.提供了 java,scala, python,R 等语言的调用接口. Hadoop 和 Spark 的关系 Google 在 2003 年和 2004 年先后发表了 Google 文件系统 GFS 和 MapReduce 编 阅读全文