层林尽染

摘要： 1.ZooKeeper是什么？ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户2.ZooKeep 阅读全文

摘要： 无处不在的C/S架构 在这个充斥着云的时代,我们使用的软件可以说99%都是C/S架构的！ 你发邮件用的Outlook,Foxmail等 你看视频用的优酷，土豆等 你写文档用的Office365,googleDoc，Evernote等 你浏览网页用的IE,Chrome等(B/S是特殊的C/S) ... 阅读全文

摘要： 在此大概用口水话简单叙述一下他们几个概念： （1）DB/Database/数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新状态，只有一个状态！比如，每天早上起床洗脸照镜子，看到的就是当时的状态，至于之前的每天的状态，不会出现的你 阅读全文

摘要： 今天碰到了这个问题，解决了，顺便做一下记录。首先来 重现 一下这个问题，maven install报错，说 找不到这个包，但是其实 我已经安装了。 我们 再来 看看 maven本地仓库里面有 什么，这说明我们的包根本没下载下来，网上说 可以 先 下载jar包，然后 再用 mvn install安装这 阅读全文

摘要： 1. 背景 1.1. 编解码技术 通常我们也习惯将编码（Encode）称为序列化（serialization），它将对象序列化为字节数组，用于网络传输、数据持久化或者其它用途。 反之，解码（Decode）/反序列化（deserialization）把从网络、磁盘等读取的字节数组还原成原始对象（通常是 阅读全文

摘要： 作者：大闲人柴毛毛链接：https://www.zhihu.com/question/24853633/answer/254224088来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 TCP三次握手 <img src="https://pic3.zhim 阅读全文

摘要： 参考书籍为《图解tcp/ip》-第五版。这篇随笔，主要内容还是TCP/IP所必备的基础知识，包括计算机与网络发展的历史及标准化过程（简述）、OSI参考模型、网络概念的本质、网络构建的设备等 下面是协议层从底层至顶层的一个模型图： 一、计算机网络的背景 1.1 计算机的发展 有人说：“20世纪最伟大的 阅读全文

摘要： 拜占庭将军问题深入探讨 拜占庭将军问题深入探讨 初夏虎 2015-10-16 15:30 发布在 区块链,技术指南,链头条 37 148567 了解过比特币和区块链的人，多少都听说过拜占庭将军问题，或听说过比特币（或区块链）的一个重要成就正是解决了拜占庭将军问题。但真正明白这个问题的人并不多，甚至知 阅读全文

摘要： 在Spark中，将数据抽象为Block（不论是shuffle数据，还是节点本身存储的数据），而每个driver/executor中的block都是由`BlockManager`这个类来负责管理的。对于block实际的读取，`BlockManager`根据block存储位置的不同是交由`Shuffle 阅读全文

摘要： Spark中调度其实是分为两个层级的，即集群层级的资源分配和任务调度，以及任务层级的任务管理。其中集群层级调度是可配置的，Spark目前提供了Local，Standalone，YARN，Mesos。任务层级的任务管理就使用Driver-Executor架构来进行管理。在Standalone模式下，首 阅读全文