12 2019 档案
摘要：Kafka是一个比RabbitMQ更加强大的消息中间件，处理消息的能力为80-100M/s，下面安装记录一下，Linux版本为Centos6。 解压压缩包 直接解压即可。 [root@hadoop01 /home/software]# tar -zxvf kafka_2.11-1.0.0.tgz 修
阅读全文
摘要：下面记录下hadoop完全分布式安装的过程，其中hadoop使用的版本是apache下的，不是cdh，linux版本为centos6。 完全分布式示意图 下面在三台节点上安装hadoop完全分布式，其中一个服务器节点上将有多个hadoop相关的节点，最后是压缩到三台的安装效果，正常来说至少13个服务
阅读全文
摘要：zookeeper将管理一批''动物''，如小象hadoop，小鲸鱼hbase等，先记录下安装完全分布式zookeeper，以备后用。 解压zookeeper压缩包 [root@hadoop01 /home/software]# tar -zxvf zookeeper-3.4.8.tar.gz 修改
阅读全文
摘要：安装好redis集群后，接下来记录一下它的实现中非常重要的槽道原理，在记录原理之前先对槽道进行迁移操作，直观的感受一下。 槽道迁移 实现槽道迁移也有两种方式，一种是使用ruby的redis-trib.rb脚本，一种是使用原生的redis-cluster集群命令来完成。如果使用ruby提供的脚本，需要
阅读全文
摘要：前面使用了哨兵集群搭建单个分片高可用的结构，实现了主从复制和故障转移，但是没有实现分布式。接下来使用Redis集群搭建，实现哨兵集群没有实现的分布式高可用。 redis-cluster搭建需求 下面准备6个redis节点，搭建如图所示的三主三从分布式redis集群，实现两两互联，以master800
阅读全文
摘要：前面的多个redis节点，都是一个节点存储一个分片的信息，如果单个节点宕机，会导致这个分片的数据未命中，这就需要实现单个分片的高可用，通过配置多个从节点来backup主节点。另外主从节点之间是没有一个监听者的，主节点宕机后，从节点不会知道自己有上位的机会，redis提供的哨兵就是一个监听者的角色，它
阅读全文
摘要：前面配置了三个节点的redis服务后，通过对key的hash取余来决定kev-value来存入哪个节点。但是考虑到对redis服务进行扩容和缩容时(增减redis节点)，会出现数据的未命中，严重会导致雪崩，因此不使用哈希取余来分配key-value。redis采用的是哈希一致性的算法，这种算法会优化
阅读全文
摘要：MapReduce可以实现一个简单的好友推荐，本文参考了文末博主的思路，个人感觉不错，自己修改部分代码也简单实现了，记录下。 数据准备 如下数据就是好友关系，同一行的两个人就是好友，需要在这数据里寻找两个人是否是潜在好友，即两人不是直接好友，但是却有共同的好友，需要将这样关系的两个人作为结果推荐出去
阅读全文
摘要：在配置了伪分布式hadoop集群后，接下来就可以写MapReduce程序，在集群中运行并且可以调试。一般来说需要将代码打成jar包，然后在hadoop集群中使用hadoop jar命令来运行，但是这样无法调试打断点，因此IDEA远程调试是有必要的。 本地准备hadoop包 将安装了hadoop集群的
阅读全文
摘要：Centos6下安装伪分布式hadoop集群，选取的hadoop版本是apache下的hadoop2.7.1，在一台linux服务器上安装hadoop后，同时拥有namenode，datanode和secondarynamenode等节点的功能，下面简单安装下。 前置准备 主要涉及防火墙关闭、jdk
阅读全文
摘要：接下来学习redis多实例的部署、数据分片，以及jedis API的使用。 redis多实例部署 一般单个redis的进程是不能满足实际需求的，需要在单台服务器上部署多个redis进程，充分发挥cpu的效能，多台服务器上的redis进程将组成庞大的集群，多的一般部署达到数千个redis进程。 暂时不
阅读全文
摘要：redis是nosql的一种，为非关系型数据库，在大型网站会使用它来减轻数据库的压力，即在访问数据时会先从redis中查找是否有，如果有就直接从redis中获取。当然redis不仅仅可以做缓存，下面入门学习一下。 什么是redis Redis（全称：Remote Dictionary Server
阅读全文
摘要：Springcloud是一款微服务框架，它基于Springboot，可以使用它用来管理纵向拆分的项目，将一个个的小项目变成微服务。下面简单的搭建一个微服务，使用eureka组件实现注册中心，使用ribbon组件实现微服务调用，使用zuul网关实现真实服务地址和访问地址的分离，其他技术后续补充。 sp
阅读全文
