摘要: Paxos、Raft分布式一致性算法应用场景一文讲述了分布式一致性问题与分布式一致性算法的典型应用场景。作为分布式一致性代名词的Paxos算法号称是最难理解的算法。本文试图用通俗易懂的语言讲述Paxos算法。一、Paxos算法背景Paxos算法是Lamport宗师提出的一种基于消息传递的分布式一致性 阅读全文
posted @ 2020-03-02 22:42 浮世间 阅读(235) 评论(0) 推荐(0) 编辑
摘要: ZooKeeper之选举(fastleaderelection算法) 每个节点除了zxid,还会有一个myyid(在部署ZooKeeper的时候自己创建并编写任意不相同的数字) 1. 启动选举 2. 运行时选举 外部投票:其他服务器发来的投票 内部投票:服务器自身的投票 选举轮次:leader周期, 阅读全文
posted @ 2020-03-02 22:13 浮世间 阅读(242) 评论(0) 推荐(0) 编辑
摘要: ZAB协议 Zookeeper的核心是原子广播,这个机制 保证了server之间的同步 。实现这个机制的协议叫做Zab协议。Zab协议有两种模式,分别是恢复模式和广播模式。当服务启动或者在领导者崩溃后,Zab就进入恢复模式。当领导者被选举出来,且大多数server的完成了和leader的状态同步之后 阅读全文
posted @ 2020-03-02 21:56 浮世间 阅读(202) 评论(0) 推荐(0) 编辑
摘要: 三阶段提交 三阶段提交在协调者和参与者中引入超时机制,并且把两阶段提交的第一阶段拆分为两步:询问,然后锁住资源,最后真正提交。 阶段一:CanCommit 1. 协调者向参与者发送commit请求,参与者如果可以提交就返回Yes响应,否则返回No响应。(如何判断是否可以提交不同的算法有不同的机制,但 阅读全文
posted @ 2020-03-02 13:56 浮世间 阅读(706) 评论(0) 推荐(0) 编辑
摘要: 两阶段提交 2PC:在分布式系统中,每一个机器节点虽然能够明确的知道自己在进行事物操作过程的结果是失败或成功,但却无法直接获取其他分布式节点的操作结果,因此事物操作需要跨越多个分布式节点的时候,需要引入一个协调者统一调度所有节点的执行逻辑。 阶段一:提交事物请求 1. 事物询问 2. 执行事物 3. 阅读全文
posted @ 2020-03-02 13:33 浮世间 阅读(2292) 评论(0) 推荐(0) 编辑
摘要: 通过查询缓存实现(适合用于更新操作不多的数据表,在MySql高版本中查询缓存已经被删除了) 使用命令优化 1、根据慢日志定位满查询日志 2、使用explain等工具分析sql 3、修改sql或者尽量让sql走索引 阅读全文
posted @ 2020-03-02 08:02 浮世间 阅读(160) 评论(0) 推荐(0) 编辑
摘要: 1.ZooKeeper是什么? ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户 2.ZooKe 阅读全文
posted @ 2020-03-02 07:20 浮世间 阅读(235) 评论(0) 推荐(0) 编辑
摘要: HDFS的进程和各自的作用 NameNode NameNode 管理者文件系统的 Namespace。它维护着文件的元数据,包括文件名、副本数、文件的 BlockId,以及 block 所在的服务器,会接受来自 Client 端的读写请求,和DataNode 的 Block 信息上报。 Second 阅读全文
posted @ 2020-03-01 22:30 浮世间 阅读(2468) 评论(1) 推荐(0) 编辑
摘要: Java 基础 1. JDK 和 JRE 有什么区别? JDK:Java Development Kit 的简称,java 开发工具包,提供了 java 的开发环境和运行环境。 JRE:Java Runtime Environment 的简称,java 运行环境,为 java 的运行提供了所需环境。 阅读全文
posted @ 2019-10-31 14:17 浮世间 阅读(358) 评论(0) 推荐(0) 编辑
摘要: "java I/O" 一、概览 Java 的 I/O 大概可以分成以下几类: 磁盘操作:File 字节操作:InputStream 和 OutputStream 字符操作:Reader 和 Writer 对象操作:Serializable 网络操作:Socket 新的输入/输出:NIO 二、磁盘操作 阅读全文
posted @ 2019-10-31 11:03 浮世间 阅读(121) 评论(0) 推荐(0) 编辑