大数据分析和应用

2022年9月2日

名词解释

谷歌文件系统GFS

（Google File System）。这是Google公司为了存储海量搜索数据而设计的专用文件系统。

MapReduce

MapReduce[1]是Google提出的一个软件架构，用于大规模数据集的并行运算。概念“Map（映射）”和“Reduce（归约）”，及他们的主要思想，都是从函数式编程语言借鉴的，还有从矢量编程语言借来的特性。[注 1]

Hadoop

随着技术的发展,需要处理的数据越来越大

有三个组件组成

1. HDFS是存储单元
   把需要存储的东西切分成小块
   然后存储,其中一个结点出问题了,全部数据也不会有什么事情

2. MapReduce

3. yarn

参考资料
https://zhuanlan.zhihu.com/p/54994736