摘要:
前言 看看业务遇到了什么问题? 我们要从互联网架构的演变之路开始说起Redis的前世今生。 在我们小的时候,网络世界好像就是只有通过大屁股台式机才能进入一样,彼时的手机只是用来打打电话,发发短信,网上购物还没有在中国普及,Jack Ma 的TB还没有走进千家万户,能上网的用户只是很少的一部分人群。那 阅读全文
摘要:
前言: 在上篇中我们了解了Kafka是什么,为什么需要Kafka,以及Kafka的基本架构和各自的作用是什么,这篇文章中我们将从kafka内部每一个组成部分去看kafka 是如何保证数据的可靠性以及工作机制。因为时间问题,或许排版多有瑕疵,有些内容未能做到详尽。待之后有空会前来填坑。话不多说,正片开 阅读全文
摘要:
@ 前言:为什么需要Kafka 举个例子:麦当劳点餐时,当我们选择外带的时候,餐厅制作好餐之后会放在一个取餐台,而且取餐台是按照不同的取餐码尾号分开放置的,按照餐品的产出顺序进行放置的。这时候我们可以在我们空闲的时候去取餐,而餐厅也不用等待我们拿完餐再生产。而这个取餐台就像一个消息队列。我们现在想想 阅读全文
摘要:
@(导航条例) 前言:浅谈Hadoop Hadoop作为大数据入门的基石内容,其中HDFS更是所有生态的地基,so,我们有必要更深入去理解HDFS,以及HDFS在高可用的演变过程。如果有小可爱说hadoop和HDFS有啥区别的。の。。。,那容我之后在做背书来说明,暖男行为的先提一下:目前我们所说的H 阅读全文
摘要:
@(目录导航) 详解Yarn基础架构及其设计思想 1.Hadoop Yarn 目录组织结构 YARN API(hadoop-yarn-api 目录):给出了 YARN 内部涉及的 4 个主要 RPC 协议的 Java 声明和 Protocol Buffers 定义,这 4 个 RPC 协议分别是 A 阅读全文
摘要:
@ 前言-MR概述 MapReduce是一个分布式计算框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。主要由两部分组成:编程模型和运行时环 境。其中,编程模型为用户提供了非常易用的编程接口,用户只需要像编写串行程序 一样实现几个简单的函数即可实现一个分布式程序,而其他比较复杂的工作,如 阅读全文
摘要:
@ Hadoop RPC 框架解析 网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信(Inter-Process Communication, IPC)逻辑,是所有分布式系统的基础。远程过程调用(Remote Procedure Call, RPC)是一种常用的分 阅读全文