摘要:第一:storm集群环境准备及部署【1】硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求【2】软件环境准备--->CentOS-6.0-x86_64系统环境--->三台地址--->zookeeper和storm公用物理环境 第二:节点环境查看 第三:
阅读全文
摘要:curator是Netflix公司开源的一套ZooKeeper客户端,Curator解决了很多ZooKeeper客户端非常底层的细节开发工作。包括连接重连,反复注册Watcher等。实现了Fluent风格的API接口,目前已经为Apache的顶级项目,是全世界使用最广泛的ZooKeeper客户端之一
阅读全文
摘要:ZkClient是Gitthub上一个开源的ZooKeeper客户端。ZKClient在ZooKeeper原生API接口之上进行了包装,是一个更加易用的ZooKeeper客户端。同时ZKClient在内部实现诸如Session超时重连,Watcher反复注册等功能。 一:maven依赖 1 <dep
阅读全文
摘要:一:客户端链接测试 1 package com.yeepay.sxf.createConnection; 2 3 import java.io.IOException; 4 5 import org.apache.zookeeper.ZooKeeper; 6 import org.apache.zo
阅读全文
摘要:这些都是比较有实用性的系统配置,收藏下,以备不时之需!以下是etc下重要配置文件解释: 1、/etc/hosts #文件格式: IPaddress hostname aliases #文件功能: 提供主机名到IP地址的对应关系,建议将自己经常使用的主机 # 加入此文件中,也可将没有DNS记录的机器加
阅读全文
摘要:一:zookeeper客户端链接【1】进入zookeeper的安装目录的bin目录下 # cd /opt/zookeeper/bin【2】敲击链接客户端的命令(zkCli.sh) # ./zkCli.sh -timeout 0 -r -server ip:port timeout==>单位:毫秒 表
阅读全文
摘要:一:ZooKeeper服务安装包下载 第一步:打开zooKeeper官网第二步:进入下载页第三步:进入真正的下载页第四步:选择ZooKeeper版本第五步:复制下载的地址第六步:将本地的压缩包上传到服务器目录 二:zookeeper集群模式配置【1】zookeeper/cnfg/zoo_sample
阅读全文
摘要:一:ZAB协议概述--->ZooKeeper并没有完全采用Paxos算法,而是使用了一种称为ZooKeeper Atomic Broadcast(ZAB,zookeeper原子消息广播协议)的协议作为其数据一致性的核心算法。--->ZAB协议是为分布式协调服务ZooKeeper专门设计的一种支持漰溃
阅读全文
摘要:一:Zookeeper的设计目标 -->Zookeeper致力于提供一个高性能,高可用,且具有严格的顺序访问控制能力(主要是写操作的严格顺行性)的分布式协调服务。 -->高性能使得Zookeeper能够应用于那些对系统吞吐有明确要求的大型分布式系统中。 -->高可用使得分布式的单点问题得到很好的解决
阅读全文
摘要:一:背景 --->随着互联网技术的高速发展,企业对计算机系统的计算,存储能力要求越来越高,最简单的明证就是出现一些诸如:高并发,海量存储这样的词汇。在这样的背景下,单纯依靠少量高性能主机来完成计算任务已经不能满足企业需求,企业的IT架构逐步从集中式向分布式过渡,所谓的分布式:把一个计算任务分解成若干
阅读全文
摘要:TCP/IP协议,你一定经常听说吧,其中TCP(Transmission Control Protocol)称为传输控制协议,IP(Internet Protocol)称为因特网互联协议,好吧,这都是什么2B名字,根本不知所云,这个时候,计算机科学对于一个没有经过深入研究的人,毫无用户体验可言。其实
阅读全文
摘要:今天我总结了什么是HTTP三次握手,还有HTTPS握手的过程以及为什么HTTPS是安全的。一:HTTP与TCP/IP区别?--->TPC/IP协议是传输层协议,主要解决数据如何在网络中传输--->HTTP是应用层协议,主要解决如何包装数据--->WEB使用HTTP协议作应用层协议,以封装HTTP 文
阅读全文
摘要:zookeeper是什么官方说辞:Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好抽象,我们改变一下方式,先看看它都提供了哪些功能,然后再看看使
阅读全文
摘要:最近研究paxos算法,看了许多相关的文章,概念还是很模糊,觉得还是没有掌握paxos算法的精髓,所以花了3天时间分析了libpaxos3的所有代码,此代码可以从https://bitbucket.org/sciascid/libpaxos 下载。对paxos算法有初步了解之后,再看此文的效果会更好
阅读全文
摘要:1.应用场景 (1)分布式中的一致性Paxos算法主要是解决一致性问题,关于“一致性”,在不同的场景有不同的解释:NoSQL领域:一致性更强调“能读到新写入的”,就是读写一致性数据库领域:一致性强调“所有的数据状态一致”,经过一个事务后,如果事务成功,所有的表数据都按照事务中的SQL进行了操作,该修
阅读全文
摘要:转载地址:http://www.lxway.com/4618606.htm 维基的简介:Paxos算法是莱斯利·兰伯特(Leslie Lamport,就是 LaTeX 中的"La",此人现在在微软研究院)于1990年提出的一种基于消息传递且具有高度容错特性的一致性算法。 Paxos算法目前在Goog
阅读全文
摘要:一:分布式一致性协议--->对于一个分布式系统进行架构设计的过程中,往往会在系统的可用性和数据一致性之间进行反复的权衡,于是就产生了一系列的一致性协议。--->长期探索涌现出一大批经典的一致性协议和算法。其中最著名的就是二阶段提交协议,三阶段提交协议和paxos算法。二:2PC与3PC--->在分布
阅读全文
摘要:一:事务--->是由一系列对系统中数据进行访问与更新的操作所组成的一个程序执行逻辑单元。保证数据在业务逻辑上是正确的。--->事务的四大特征:原子性,一致性,隔离性,持久性。简称事务的ACID特性。●原子性 要么全部成功执行,要么全部失败。●一致性 事务的一致性,数据合乎逻辑。只能从一个一致性状态变
阅读全文
摘要:一:集中式向分布式转变---->大型主机(IBM),稳定快速。但扩容性差,价格昂贵。存在单点问题。---->小型微机,pc等服务器成本低,随着技术发展性能提升。---->互联网业务成井喷式快速发展,访问量暴增,计算机系统规模扩大,单一大型主机上运行系统的扩容比较困难。企业放弃原有的大型机,使用小型机
阅读全文
摘要:一:桥梁模式定义 --->桥梁模式(Bridge Pattern)也叫做桥接模式,是一个比较简单的模式 --->将抽象和实现解耦,使得两者可以独立地变化。二:桥梁模式角色● Abstraction——抽象化角色 它的主要职责是定义出该角色的行为,同时保存一个对实现化角色的引用,该角色一般是抽象类。●
阅读全文