05 2022 档案

Spark拾遗

摘要：一、Spark简介 1、基本介绍 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，而 Hadoop是基于磁盘。因此S 阅读全文

posted @ 2022-05-12 16:08 li-shan 阅读(50) 评论(0) 推荐(0) 编辑

Hadoop拾遗

摘要：一、Hadoop简介 2003 年 Google 发表三篇论文也就是所谓的“三架马车”，分别是《The Google File System》《MapReduce: Simplified Data Processing on Large Clusters》《Bigtable: A Distri 阅读全文

posted @ 2022-05-12 16:01 li-shan 阅读(194) 评论(0) 推荐(0) 编辑