摘要：
前面我们已经搭建了kafka的单机和集群环境，分别写了简单的实例代码，对于代码里面使用到的参数并没有做解释。下面我们来详细说一下各个参数的作用。1. 创建kafka生产者kaf... 阅读全文
摘要：
我们来安装Kafka的集群模式，三台机器：192.168.131.128192.168.131.130192.168.131.131Kafka集群需要依赖zookeeper，所... 阅读全文
摘要：
1、 基础知识有关RabbitMQ,RocketMQ,Kafka的区别这个网上很多，了解一下区别性能，分清什么场景使用。分布式环境下的消息中间件Kafka做的比较不错，在分布式... 阅读全文
摘要：
zk的应用还是非常广泛的。 1. 分布式锁 单机环境下的锁还是很容易去实现的，但是在分布式环境下一切都变得不是那么简单。zk实现分布式锁的原理还简单，因为在分布式环境中的zk节点的变化会被每一台机器watch，有任何变化都会被通知，所以我们可以利用这个机制： 我们创建一个根节点Lock，在获取锁的时 阅读全文
摘要：
Zookeeper的命令行操作 1、 ZooKeeper服务命令 在准备好相应的配置之后，可以直接通过zkServer.sh 这个脚本进行服务的相关操作 1. 启动ZK服务: sh bin/zkServer.sh start 2. 查看ZK服务状态: sh bin/zkServer.sh statu 阅读全文
摘要：
zk一般是有2n+1个节点组成的集群。在Zookeeper服务有两个角色，一个是leader，负责写服务和数据同步；剩下的是follower，提供读服务。(为什么是2n+1个节点请看paxos算法) leader实效后会在follower中重新选举新的leader。（paxos算法） 每个follo 阅读全文
摘要：
之前我们在搭建hadoop分布式环境的时候用到过Zookeeper注册hadoop服务。那么到底Zookeeper在分布式环境中发挥了什么作用呢，这次我们就来讨论这个问题。 在分布式系统中通常都会有多台机器构成一个集群来对外提供服务，对外来说有几台机器在提供服务它并不关心，那么对内而言组成集群的机器 阅读全文
摘要：
前面我们使用HDFS进行了相关的操作，也了解了HDFS的原理和机制，有了分布式文件系统我们如何去处理文件呢，这就的提到hadoop的第二个组成部分-MapReduce。 MapReduce充分借鉴了分而治之的思想，将一个数据的处理过程分为Map（映射）和Reduce（处理）两步。那么用户只需要将数据 阅读全文
摘要：
昨天在配置虚拟机的时候因为之前没有设置静态IP,而是使用DHCP动态分配的，导致关机后下次开机虚拟机的ip是随机变动的。严重影响了工作体验啊，遂设置静态ip以保全！ 虚拟机使用的是CentOS6.5，一共四台虚拟主机，后3台都是从第一台克隆的。殊不知这样克隆会造成一个问题： 克隆的主机网卡会变成et 阅读全文
摘要：
1、安装ssh 直接 sudo apt-get install openssh-server 2、查看ssh运行状态 ps -e | grep ssh 如果发现 sshd 和 ssh-agent 即表明 ssh服务基本运行正常 3、生成公钥和私钥 ssh-keygen -t rsa -P "" 4、 阅读全文