摘要：［1］下载redis压缩包,解压,编译 [2]编译完成后，在当前目录下运行make test命令确保编译无错误，知道屏幕上输出 [3]解压编译，测试编译无误后，以root用户运行make install命令，将可执行文件复制到/usr/local/bin目录下，方便以后执行程序时，可以不用输入完整路
阅读全文
摘要：［一］：概念 >Redis是一个开源的，高性能的，基于键值对的缓存与存储系统 >Redis数据库中的多有数据都存储在内存中，由于内存的读写速度远快于硬盘，一秒读写超过10万键值 >Redis提供对数据持久化的支持，可以将内存中的数据异步写入硬盘。 >Redis约定的版本号：小数点后的数字，为偶数，则
阅读全文
摘要：原文：http://weibo.com/ttarticle/p/show?id=2309403965965003062676 编者按：本文由「高可用架构后花园」群讨论整理而成。 有人的地方，就有江湖 有江湖的地方，就有纷争 问题的起源 在电商等业务中，系统一般由多个独立的服务组成，如何解决分布式调用
阅读全文
摘要：一：元数据管理器==>元数据管理器是系统平台的“大脑”，在任务调度中有着重要的作用【1】什么是元数据？--->中介数据，用于描述数据属性的数据。--->具体类型：描述数据结构，数据的具体位置，数据间的依赖关系，数据的处理过程，数据的快照信息等。【2】为何要引入元数据--->实际案例：HDFS中的Na
阅读全文
摘要：Storm的单词统计设计 一：Storm的wordCount和Hadoop的wordCount实例对比 二：Storm的wordCount的方案实例设计 三：建立maven项目，添加maven相关依赖包(1)输入：search.maven.org网址，在其中找到storm的核心依赖(2)将核心依赖添
阅读全文
摘要：配置项 配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper.port ZooKeeper连接端口 storm.local.dir storm使用的本地文件系统目录(必须存在并且storm进程可读写) storm.cluster.mo
阅读全文
摘要：第一：storm集群环境准备及部署【1】硬件环境准备--->机器数量>=3--->网卡>=1--->内存：尽可能大--->硬盘：无额外需求【2】软件环境准备--->CentOS-6.0-x86_64系统环境--->三台地址--->zookeeper和storm公用物理环境 第二：节点环境查看 第三：
阅读全文
摘要：curator是Netflix公司开源的一套ZooKeeper客户端，Curator解决了很多ZooKeeper客户端非常底层的细节开发工作。包括连接重连，反复注册Watcher等。实现了Fluent风格的API接口，目前已经为Apache的顶级项目，是全世界使用最广泛的ZooKeeper客户端之一
阅读全文
摘要：ZkClient是Gitthub上一个开源的ZooKeeper客户端。ZKClient在ZooKeeper原生API接口之上进行了包装，是一个更加易用的ZooKeeper客户端。同时ZKClient在内部实现诸如Session超时重连，Watcher反复注册等功能。 一：maven依赖 1 <dep
阅读全文
摘要：一：客户端链接测试 1 package com.yeepay.sxf.createConnection; 2 3 import java.io.IOException; 4 5 import org.apache.zookeeper.ZooKeeper; 6 import org.apache.zo
阅读全文
摘要：一：zookeeper客户端链接【1】进入zookeeper的安装目录的bin目录下 # cd /opt/zookeeper/bin【2】敲击链接客户端的命令（zkCli.sh） # ./zkCli.sh -timeout 0 -r -server ip:port timeout==>单位：毫秒 表
阅读全文
摘要：一：ZooKeeper服务安装包下载 第一步：打开zooKeeper官网第二步：进入下载页第三步：进入真正的下载页第四步：选择ZooKeeper版本第五步：复制下载的地址第六步：将本地的压缩包上传到服务器目录 二：zookeeper集群模式配置【1】zookeeper/cnfg/zoo_sample
阅读全文
摘要：一：ZAB协议概述--->ZooKeeper并没有完全采用Paxos算法，而是使用了一种称为ZooKeeper Atomic Broadcast(ZAB,zookeeper原子消息广播协议)的协议作为其数据一致性的核心算法。--->ZAB协议是为分布式协调服务ZooKeeper专门设计的一种支持漰溃
阅读全文
摘要：一：Zookeeper的设计目标 -->Zookeeper致力于提供一个高性能，高可用，且具有严格的顺序访问控制能力（主要是写操作的严格顺行性）的分布式协调服务。 -->高性能使得Zookeeper能够应用于那些对系统吞吐有明确要求的大型分布式系统中。 -->高可用使得分布式的单点问题得到很好的解决
阅读全文
摘要：一：背景 --->随着互联网技术的高速发展，企业对计算机系统的计算，存储能力要求越来越高，最简单的明证就是出现一些诸如：高并发，海量存储这样的词汇。在这样的背景下，单纯依靠少量高性能主机来完成计算任务已经不能满足企业需求，企业的IT架构逐步从集中式向分布式过渡，所谓的分布式：把一个计算任务分解成若干
阅读全文
摘要：zookeeper是什么官方说辞：Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好抽象，我们改变一下方式，先看看它都提供了哪些功能，然后再看看使
阅读全文
摘要：最近研究paxos算法，看了许多相关的文章，概念还是很模糊，觉得还是没有掌握paxos算法的精髓，所以花了3天时间分析了libpaxos3的所有代码，此代码可以从https://bitbucket.org/sciascid/libpaxos 下载。对paxos算法有初步了解之后，再看此文的效果会更好
阅读全文
摘要：1.应用场景 （1）分布式中的一致性Paxos算法主要是解决一致性问题，关于“一致性”，在不同的场景有不同的解释：NoSQL领域：一致性更强调“能读到新写入的”，就是读写一致性数据库领域：一致性强调“所有的数据状态一致”，经过一个事务后，如果事务成功，所有的表数据都按照事务中的SQL进行了操作，该修
阅读全文
摘要：转载地址：http://www.lxway.com/4618606.htm 维基的简介：Paxos算法是莱斯利·兰伯特（Leslie Lamport，就是 LaTeX 中的"La"，此人现在在微软研究院）于1990年提出的一种基于消息传递且具有高度容错特性的一致性算法。 Paxos算法目前在Goog
阅读全文
摘要：一：分布式一致性协议--->对于一个分布式系统进行架构设计的过程中，往往会在系统的可用性和数据一致性之间进行反复的权衡，于是就产生了一系列的一致性协议。--->长期探索涌现出一大批经典的一致性协议和算法。其中最著名的就是二阶段提交协议，三阶段提交协议和paxos算法。二：2PC与3PC--->在分布
阅读全文
