java/Java Pyton 大数据 Hadoop Spark

摘要: 如今 Hadoop 成为大数据中最坚固的那一块基石,Yarn 框架功不可没。这次,我们就来看看 Yarn 的内部原理,探究为什么他如此强大。 阅读全文
posted @ 2019-02-17 17:10 zzzzMing 阅读(4268) 评论(2) 推荐(1) 编辑
摘要: 前两次讲了 Spark RPC 的基础内容以及源码时序分析。这次我们来看看Spark 如何用 RPC 实现心跳。 阅读全文
posted @ 2019-01-17 20:40 zzzzMing 阅读(1834) 评论(0) 推荐(2) 编辑
摘要: Spark RPC 框架的运行时序是怎样的呢?让我们深入到它的源码里面去看看~~ 阅读全文
posted @ 2019-01-14 18:07 zzzzMing 阅读(1102) 评论(0) 推荐(2) 编辑
摘要: Spark RPC 框架对 Spark 来说是至关重要的,它在 Spark 中担任中枢的作用。 阅读全文
posted @ 2019-01-09 17:12 zzzzMing 阅读(2334) 评论(0) 推荐(2) 编辑
摘要: 如今 Hadoop 成为大数据中最坚固的那一块基石,Yarn 框架功不可没。这次,我们就来看看 Yarn 的内部原理,探究为什么他如此强大。 阅读全文
posted @ 2019-01-07 16:40 zzzzMing 阅读(2090) 评论(0) 推荐(2) 编辑
摘要: Hadoop 1.0 到 Hadoop 2.0 经历了什么,我们又能从中看出什么呢? 阅读全文
posted @ 2018-12-25 21:05 zzzzMing 阅读(11018) 评论(2) 推荐(4) 编辑
摘要: 什么才是真正的好的程序员 阅读全文
posted @ 2018-12-22 19:24 zzzzMing 阅读(8369) 评论(36) 推荐(33) 编辑
摘要: 我们都知道现在大数据存储用的基本都是 Hdfs ,但在 Hadoop 诞生之前,我们都是如何存储大量数据的呢?这次我们不聊技术架构什么的,而是从技术演化的角度来看看 Hadoop Hdfs。 阅读全文
posted @ 2018-12-18 21:37 zzzzMing 阅读(2677) 评论(2) 推荐(4) 编辑
摘要: 一. Hbase的region 我们先简单介绍下Hbase的架构和Hbase的region: 从物理集群的角度看,Hbase集群中,由一个Hmaster管理多个HRegionServer,其中每个HRegionServer都对应一台物理机器,一台HRegionServer服务器上又可以有多个Hreg 阅读全文
posted @ 2018-12-15 11:31 zzzzMing 阅读(1844) 评论(0) 推荐(0) 编辑
摘要: 一. 概述 上一篇我们介绍了如何将数据从mysql抛到kafka,这次我们就专注于利用storm将数据写入到hdfs的过程,由于storm写入hdfs的可定制东西有些多,我们先不从kafka读取,而先自己定义一个Spout数据充当数据源,下章再进行整合。这里默认你是拥有一定的storm知识的基础,起 阅读全文
posted @ 2018-12-12 21:05 zzzzMing 阅读(1419) 评论(0) 推荐(3) 编辑