别样风景天 - 博客园

大数据学习（04）——MapReduce原理

摘要：前两篇文章介绍了HDFS的原理和高可用，下面再来介绍Hadoop的另外一个模块MapReduce。它的思想是很多技术的鼻祖，值得一学。 MapReduce是什么 MapReduce是一个分布式计算系统，它可以类比为SQL里的select ...group by... 它被分为两个阶段。第一个阶段叫M 阅读全文

posted @ 2020-07-22 23:08 别样风景天阅读(380) 评论(0) 推荐(0) 编辑

大数据学习（03）——HDFS的高可用

摘要：高可用架构图先上一张搜索来的图。如上图，HDFS的高可用其实就是NameNode的高可用。上一篇里，SecondaryNameNode是NameNode单节点部署才会有的角色，它只帮助NameNode完成日志合并的工作，在NameNode出现问题时不能顶上去。在高可用里，不再有Seconda 阅读全文

posted @ 2020-07-20 22:51 别样风景天阅读(496) 评论(0) 推荐(0) 编辑

大数据学习（02）——HDFS入门

摘要： Hadoop模块提到大数据，Hadoop是一个绕不开的话题，我们来看看Hadoop本身包含哪些模块。 Common是基础模块，这个是必须用的。剩下常用的就是HDFS和YARN。 MapReduce现在用的比较少了，多数场景下会被Spark取代。 Ozone是一个新组件，对象存储，可以看做是HDFS 阅读全文

posted @ 2020-07-17 08:27 别样风景天阅读(223) 评论(0) 推荐(0) 编辑

大数据学习（01）——开篇

摘要：单位最近开始做大数据平台，借此机会梳理一下大数据相关技术，分享出来共同学习。为什么会出现大数据技术随着计算机系统数据的快速增长，单台物理机已经没办法存储和计算这么大规模的数据量，于是大数据技术应运而生，它是分布式技术的一种。一提到大数据技术，必然会涉及到Hadoop。google的两篇论文是它核阅读全文

posted @ 2020-07-14 23:09 别样风景天阅读(144) 评论(0) 推荐(0) 编辑

大数据学习（04）——MapReduce原理

大数据学习（03）——HDFS的高可用

大数据学习（02）——HDFS入门

大数据学习（01）——开篇

导航

公告