分布式系统常用思想和技术
摘要：感谢该作者的总结，转载地址：http://blog.arganzheng.me/ 本人将重点进行加粗，便于大家一起查阅学习 一、分布式系统的难点 分布式系统比起单机系统存在哪些难点呢？ 1. 网络因素 由于服务和数据分布在不同的机器上，每次交互都需要跨机器运行，这带来如下几个问题： 同机房的网络IO
阅读全文
posted @
2016-06-18 15:52
松伯
阅读(4588)
推荐(0) 编辑
分布式系统中的线程与进程
摘要：进程 虽然进程构成了分布式系统中的基本组成单元，但是操作系统提供的用于构建分布式系统的进程在粒度上还是太大了，而就粒度而言，将每个进程细分为若干控制线程的形式则更加合适。 为了程序执行的需要，操作系统创建多个虚拟处理器，每个虚拟处理器运行一个程序。为了保持对这些虚拟处理器的跟踪，操作系统中有一张进程
阅读全文
posted @
2016-06-11 21:47
松伯
阅读(4144)
推荐(0) 编辑
面向消息的持久通信与面向流的通信
摘要：一、面向消息的持久通信 消息队列系统为持久异步通信提供多种支持，本质是提供消息的中介存储能力，这样就不需要消息发送方和接收方在消息传输过程中都保持激活状态。 消息队列模型 应用程序可以通过在特定队列中插入消息来进行通信。消息由一系列通信服务器依次进行转发，最终送达目的地。即使在消息发送过程中接收方的
阅读全文
posted @
2016-06-10 11:52
松伯
阅读(673)
推荐(0) 编辑
通信协议
摘要：由于没有存储共享器，分布式系统中的所有通信都是基于底层消息交换的。如果进程A要与进程B通信，A必须首先在自己的地址空间中生成该消息，再执行一个系统调用，通知操作系统将该消息通过网络发送给B。 为了使一组计算机能够通过网络相互通信，它们必须使用相同的协议。可以把协议划分为两大类。 一类是面向连接协议，
阅读全文
posted @
2016-06-10 03:26
松伯
阅读(907)
推荐(0) 编辑
分布式系统简介
摘要：研究生阶段学习的分布式原理与泛型几乎忘完了，当初不怎么懂。。。现在工作中发现大数据技术的底层还是分布式系统，那么重新拾起，总结下~ 一、分布式系统简介 分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像是单个相关系统。这个定义包含了两方面的内容，第一方面是硬件的:机器本身是独立的。第二方面
阅读全文
posted @
2016-06-10 00:56
松伯
阅读(1696)
推荐(0) 编辑
Hadoop on Yarn 各组件详细原理
摘要：运行在独立的节点上的ResourceManager和NodeManager一起组成了yarn的核心，构建了整个平台。ApplicationMaster和相应的container一起组成了一个Yarn的应用系统。 ResourceManager提供应用程序的调度，每个应用程序由一个Applicatio
阅读全文
posted @
2016-06-09 23:51
松伯
阅读(7464)
推荐(0) 编辑
Parquet文件结构笔记
摘要：Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，那么这里就总结下Parquet数据结构到底是什么样的呢？ 一个Parquet文件是由一个header以及一个或多个block块组成，以一个fo
阅读全文
posted @
2016-06-06 22:24
松伯
阅读(8650)
推荐(1) 编辑
Redis部分数据结构方法小结
摘要：Redis在工程开发中还是比较常用的Nosql内存数据库，简单巩固一下它的各种数据类型与用法~
阅读全文
posted @
2016-06-05 22:33
松伯
阅读(286)
推荐(0) 编辑
Storm Ack框架笔记
摘要：Storm利用Acker Bolt节点跟踪消息，当Spout发送出去的消息以及这些消息所衍生出来的消息均被处理后，Spout将受到对应于该消息的Ack。实现要点： 1、Storm中每条发送出去的消息都会对应一个随机的消息ID。 2、Spout发送消息后，将向Acker Bolt发送一条消息，该消息内
阅读全文
posted @
2016-06-05 20:53
松伯
阅读(471)
推荐(0) 编辑
MapReduce格式与类型
摘要：MapReduce Types MapReduce是一个简单的数据处理模型，map与reduce的输入和输出类型都为key-value形式的键值对。 一般来讲，map的输入key与输出value类型(K1,V1)不同于map的输出类型(K2,V2).reduce的输入类型比如与map的输出类型保持一
阅读全文
posted @
2016-06-05 12:34
松伯
阅读(774)
推荐(0) 编辑
Hadoop 2.6 MapReduce运行原理详解
摘要：市面上的hadoop权威指南一类的都是老版本的书籍了，索性学习并翻译了下最新版的Hadoop:The Definitive Guide, 4th Edition与大家共同学习。 我们通过提交jar包，进行MapReduce处理，那么整个运行过程分为五个环节： 1、向client端提交MapReduc
阅读全文
posted @
2016-06-05 00:48
松伯
阅读(8856)
推荐(0) 编辑
Hadoop SequenceFile数据结构介绍及读写
摘要：在一些应用中，我们需要一种特殊的数据结构来存储数据，并进行读取，这里就分析下为什么用SequenceFile格式文件。 Hadoop SequenceFile Hadoop提供的SequenceFile文件格式提供一对key,value形式的不可变的数据结构。同时，HDFS和MapReduce jo
阅读全文
posted @
2016-06-04 22:21
松伯
阅读(13993)
推荐(1) 编辑
