随笔分类 - 架构
摘要：在新版的 Kafka Producer 中，设计了一个消息缓冲池，在创建 Producer 时会默认创建一个大小为 32M 的缓冲池，也可以通过 buffer.memory 参数指定缓冲池的大小，同时缓冲池被切分成多个内存块，内存块的大小就是我们创建 Producer 时传的 batch.size
阅读全文
摘要：转自：https://shishan100.gitee.io/docs/#/./docs/middleware/page10 目录 1、页缓存技术 + 磁盘顺序写 2、零拷贝技术 3、最后的总结 Kafka 是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的 Kaf
阅读全文
摘要：注册中心规则 每一个微服务启动的时候，都需要去注册中心注册（eureka或zookeeper或其他） 同类服务注册的服务名必须相同，不同类服务注册的服务名一定不能相同 （订单服务部署5台服务器，那么这5台微服务在注册中心中注册的服务名必须一致，例如ORDER） （商品服务部署4台服务器，那么这4台微
阅读全文
摘要：本文转自：https://shishan100.gitee.io/docs/#/./docs/page/page6 这篇文章，我们继续给大家聊聊另外一个线上系统在生产环境遇到的问题。 一、背景介绍 背景情况是这样：线上一个系统，在某次高峰期间 MQ 中间件故障的情况下，触发了降级机制，结果降级机制触
阅读全文
摘要：Zookeeper单机伪集群 1.配置 zookeeper下载地址：http://apache.mirrors.lucidnetworks.net/zookeeper/ 可以选择需要的版本，我下载的是zookeeper 3.4.3.tar.gz，解压得到文件夹zookeeper 3.4.3 在主文件
阅读全文
摘要：Redis集群规范 什么是 Redis 集群 分布式（distributed） 容错（fault tolerant） 是普通单机 Redis 所能使用的功能的一个子集（subset）。 集群的容错功能： 主节点和从节点使用完全相同的服务器实现， 它们的功能（functionally）也完全一样， 但
阅读全文
摘要：Redis集群 http://doc.redisfans.com/topic/cluster tutorial.html redis 集群是为了多个节点之间数据的共享和集群高可用的保证。 redis 集群不支持同时处理多个键的redis命令，由于集群需要在多个redis之间迁移数据，在高负载的情况下
阅读全文
摘要：redis学习笔记 http://doc.redisfans.com/ 键空间通知（keyspace notification） 键空间通知，客户端可以通过订阅频道或者模式来接收redis改动的数据集。 命令产生的通知 命令为每个被删除的键产生一个 通知。 产生两个通知：为来源键（source ke
阅读全文
摘要：Kafka与常见消息队列的对比 RabbitMQ Erlang编写 支持很多的协议：AMQP，XMPP, SMTP, STOMP 非常重量级，更适合于企业级的开发 发送给客户端时先在中心队列排队。对路由，负载均衡或者数据持久化都有很好的支持。 Redis 基于Key Value对的NoSQL数据库
阅读全文
摘要：kafka学习笔记 "参考文档" Kafka背景及架构介绍 Kafka背景 对网站使用情况做报表，如活动数据（page view、查看内容、搜索内容等）和运营数据（CPU、IO使用率、请求时间、服务器日志等）要用到的数据的收集和分析。 Kafka简介 Kafka是一个分布式的，基于发布/订阅的消息系
阅读全文
摘要：本文转自：http://ifeve.com/%E5%A6%82%E4%BD%95%E5%BB%BA%E8%AE%BE%E9%AB%98%E5%8F%AF%E7%94%A8%E7%B3%BB%E7%BB%9F/ 如何建设高可用系统 面试的时候经常会问一个问题，如何建设高可用系统？大家可以一起探讨下。
阅读全文
摘要：ZooKeeper服务命令 在准备好相应的配置之后，可以直接通过zkServer.sh 这个脚本进行服务的相关操作 启动ZK服务: sh bin/zkServer.sh start 查看ZK服务状态: sh bin/zkServer.sh status 停止ZK服务: sh bin/zkServer
阅读全文
摘要：Curator Zookeeper分布式锁 pom.xml中添加如下配置 zookeeper配置 下载zookeeper并解压至 ： zookeeper配置文件： 和`zoo 3.cfg`修改如下配置并创建相应的目录 修改clientPort： 创建目录： 分别创建文件： ，内容分别为各自的id：1
阅读全文
摘要：Redis 3.0 Cluster集群配置 安装环境依赖 安装gcc：yum install gcc 安装zlib：yum install zib 安装ruby：yum install ruby 安装rubygems：yum install rubygems 安装ruby的redis驱动：gem i
阅读全文
摘要：分布式锁的三种实现方式 一、zookeeper 1、实现原理： 基于zookeeper瞬时有序节点实现的分布式锁，其主要逻辑如下（该图来自于IBM网站）。大致思想即为：每个客户端对某个功能加锁时，在zookeeper上的与该功能对应的指定节点的目录下，生成一个唯一的瞬时有序节点。判断是否获取锁的方式
阅读全文
摘要：zookeeper部署及集群测试 环境 三台测试机 操作系统: centos7 ; hostname: c1 ; ip: 192.168.1.80 操作系统: centos7 ; hostname: c2 ; ip: 192.168.1.81 操作系统: centos7 ; hostname: c3
阅读全文
摘要：flume与kafka整合 前提： flume安装和测试通过，可参考：http://www.cnblogs.com/rwxwsblog/p/5800300.html kafka安装和测试通过，可参考：http://www.cnblogs.com/rwxwsblog/p/5800224.html 在上
阅读全文
摘要：CentOS 7部署flume 准备工作： 安装java并设置java环境变量，在 中加入 export JAVA_HOME=/usr/java/jdk1.8.0_65 export PATH=$PATH:$JAVA_HOME/bin 注意事项 需要启动多个shell脚本交互客户端进行验证，运行中的
阅读全文
摘要：CentOS 7部署Kafka和Kafka集群 注意事项 需要启动多个shell脚本交互客户端进行验证，运行中的客户端不要停止。 准备工作： 安装java并设置java环境变量，在 中加入 export JAVA_HOME=/usr/java/jdk1.8.0_65 export PATH=$PAT
阅读全文
