摘要:
如今 Hadoop 成为大数据中最坚固的那一块基石,Yarn 框架功不可没。这次,我们就来看看 Yarn 的内部原理,探究为什么他如此强大。 阅读全文
摘要:
前两次讲了 Spark RPC 的基础内容以及源码时序分析。这次我们来看看Spark 如何用 RPC 实现心跳。 阅读全文
摘要:
Spark RPC 框架的运行时序是怎样的呢?让我们深入到它的源码里面去看看~~ 阅读全文
摘要:
Spark RPC 框架对 Spark 来说是至关重要的,它在 Spark 中担任中枢的作用。 阅读全文
摘要:
如今 Hadoop 成为大数据中最坚固的那一块基石,Yarn 框架功不可没。这次,我们就来看看 Yarn 的内部原理,探究为什么他如此强大。 阅读全文
摘要:
Hadoop 1.0 到 Hadoop 2.0 经历了什么,我们又能从中看出什么呢? 阅读全文
摘要:
什么才是真正的好的程序员 阅读全文
摘要:
我们都知道现在大数据存储用的基本都是 Hdfs ,但在 Hadoop 诞生之前,我们都是如何存储大量数据的呢?这次我们不聊技术架构什么的,而是从技术演化的角度来看看 Hadoop Hdfs。 阅读全文
摘要:
一. Hbase的region 我们先简单介绍下Hbase的架构和Hbase的region: 从物理集群的角度看,Hbase集群中,由一个Hmaster管理多个HRegionServer,其中每个HRegionServer都对应一台物理机器,一台HRegionServer服务器上又可以有多个Hreg 阅读全文
摘要:
一. 概述 上一篇我们介绍了如何将数据从mysql抛到kafka,这次我们就专注于利用storm将数据写入到hdfs的过程,由于storm写入hdfs的可定制东西有些多,我们先不从kafka读取,而先自己定义一个Spout数据充当数据源,下章再进行整合。这里默认你是拥有一定的storm知识的基础,起 阅读全文