摘要：GlusterFS分布式存储高可用方案设计 1、搭建GlusterFS复制卷(使用至少2个存储节点) 2、配置Keepalived管理GlusterFS主从存储节点 3、配置Keepalived浮动IP(VIP)对外提供存储服务 4、实现存储高可用(即使用两台GlusterFS服务器提供双节点复制卷
阅读全文
随笔分类 - 分布式系统/消息队列
摘要：一、zookeeper 的安装与配置: 1．zookeeper安装 下载：https://zookeeper.apache.org/ 建议下载zookeeper 3.4.6稳定版的， 3.5版本的在搭建集群时，会出现服务启动失败的错误。 安装： 解压 即可 安装C 语言 api： 进入./zooke
阅读全文
摘要：转载地址：https://www.cnblogs.com/haippy/archive/2013/02/21/2920426.html 上一讲《Zookeeper C API 指南五(同步 API 介绍)》讲了Zookeeper 同步 API 的分类和相关解释，相信大家对 Zookeeper 同步
阅读全文
摘要：Zookeeper C API接口大部分以zoo_开头，少量接口以zookeeper_开头。除了初始化/销毁句柄、设置日志等级/日志流以及一些辅助功能的API外，Zookeeper C API接口分为同步接口和异步接口：同步接口以zoo_开头、异步接口以zoo_a开头。 1、初始化/销毁Zookee
阅读全文
摘要：1. 消费者组（Consumer Group） 消费者组是Kafka实现单播和广播两种消息模型的手段。同一个topic，每个消费者组都可以拿到相同的全部数据。 1.1 消费者多于分区数 创建一个用于测试的单分区topic test 设置consumer.properties文件 将consumer.
阅读全文
摘要：首先要注意的是，Kafka 中的 Topic 和 ActiveMQ 中的 Topic 是不一样的。 在 Kafka 中，Topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到 Kafka 集群的消息都有一个类别。物理上来说，不同的 Topic 的消息是分开存储的，每个 Topi
阅读全文
摘要：ZooKeeper是Hadoop的正式子项目； Hadoop是一个分布式系统基础架构，由Apache基金会所开发； Zookeeper能够用来leader选举；也就是你有N+1台同样的服务器的时候又zookeeper来决定谁是主服务器； 当我们配置好zookeeper之后都希望当系统重启之后能够自动
阅读全文
摘要：==目的== 想把zookeeper、hadoop、hbase、storm等大数据组件 设置为开机启动，并且进程挂掉之后，可以自动重启，以减少运维压力。 ==service文件== 路径：/usr/lib/systemd/system 文件名：train-zookeeper.service 样例：
阅读全文
摘要：摘要：本文中，我们将进一步理解微服务架构的核心要点和实现原理，为读者的实践提供微服务的设计模式，以期让微服务在读者正在工作的项目中起到积极的作用。 微服务架构中职能团队的划分 传统单体架构将系统分成具有不同职责的层次，对应的项目管理也倾向于将大的团队分成不同的职能团队，主要包括：用户交互UI团队、后
阅读全文
摘要：目前几乎很多大型网站及应用都是分布式部署的，分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），最多只能同时满足两
阅读全文
摘要：PS：Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件，本人都在多个项目中实施过，参考了一些资料，结合自己的一些使用经验，总结一下。 一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的Web应用，比如日PV小于100
阅读全文
摘要：HAProxy是法国人Willy Tarreau个人开发的一个开源软件，目标是应对客户端10000以上的同时连接，为后端应用服务器、数据库服务器提供高性能的负载均衡服务。HAproxy可以实现基于TCP（四层 例如:SSH,SMTP,MYSQL）和HTTP（七层 例如:web服务器）应用的代理软件，
阅读全文
摘要：RCF(远程调用框架)是一个可以移植的C++进程间通信框架，使用C++语言特性，提供了一个简单高效的编写分布式C++软件的途径。RCF利用编译时多态清晰分开了接口和实现. 和传统的RPC框架如CORBA,DCOM,.NETRemoting,WCF,WS-*,等所支持的面向对象方式不一样，RCF提供了
阅读全文
摘要：现有的软件中用了大量的COM接口，导致无法跨平台，当然由于与Windows结合的太紧密，还有很多无法跨平台的地方。那么为了实现跨平台，支持Linux系统，以及后续的分布式，首要任务是去除COM接口。 在对大量框架进行调研后，决定使用RCF替换COM接口。 RPC通信框架 为什么选择RCF 经过各项对
阅读全文
摘要：现在先抛出问题，假设有一个主数据中心在北京M，然后有成都A，上海B两个地方数据中心，现在的问题是，假设成都上海各自的数据中心有记录变更，需要先同步到主数据中心，主数据中心更新完成之后，在把最新的数据分发到上海，成都的地方数据中心A，地方数据中心更新数据，保持和主数据中心一致性（数据库结构完全一致）。
阅读全文
