摘要： 前面使用了哨兵集群搭建单个分片高可用的结构，实现了主从复制和故障转移，但是没有实现分布式。接下来使用Redis集群搭建，实现哨兵集群没有实现的分布式高可用。 redis-cluster搭建需求 下面准备6个redis节点，搭建如图所示的三主三从分布式redis集群，实现两两互联，以master800 阅读全文

摘要： 前面的多个redis节点，都是一个节点存储一个分片的信息，如果单个节点宕机，会导致这个分片的数据未命中，这就需要实现单个分片的高可用，通过配置多个从节点来backup主节点。另外主从节点之间是没有一个监听者的，主节点宕机后，从节点不会知道自己有上位的机会，redis提供的哨兵就是一个监听者的角色，它 阅读全文

摘要： 前面配置了三个节点的redis服务后，通过对key的hash取余来决定kev-value来存入哪个节点。但是考虑到对redis服务进行扩容和缩容时(增减redis节点)，会出现数据的未命中，严重会导致雪崩，因此不使用哈希取余来分配key-value。redis采用的是哈希一致性的算法，这种算法会优化 阅读全文

摘要： MapReduce可以实现一个简单的好友推荐，本文参考了文末博主的思路，个人感觉不错，自己修改部分代码也简单实现了，记录下。 数据准备 如下数据就是好友关系，同一行的两个人就是好友，需要在这数据里寻找两个人是否是潜在好友，即两人不是直接好友，但是却有共同的好友，需要将这样关系的两个人作为结果推荐出去 阅读全文

摘要： 在配置了伪分布式hadoop集群后，接下来就可以写MapReduce程序，在集群中运行并且可以调试。一般来说需要将代码打成jar包，然后在hadoop集群中使用hadoop jar命令来运行，但是这样无法调试打断点，因此IDEA远程调试是有必要的。 本地准备hadoop包 将安装了hadoop集群的 阅读全文

摘要： Centos6下安装伪分布式hadoop集群，选取的hadoop版本是apache下的hadoop2.7.1，在一台linux服务器上安装hadoop后，同时拥有namenode，datanode和secondarynamenode等节点的功能，下面简单安装下。 前置准备 主要涉及防火墙关闭、jdk 阅读全文

摘要： 接下来学习redis多实例的部署、数据分片，以及jedis API的使用。 redis多实例部署 一般单个redis的进程是不能满足实际需求的，需要在单台服务器上部署多个redis进程，充分发挥cpu的效能，多台服务器上的redis进程将组成庞大的集群，多的一般部署达到数千个redis进程。 暂时不 阅读全文

摘要： redis是nosql的一种，为非关系型数据库，在大型网站会使用它来减轻数据库的压力，即在访问数据时会先从redis中查找是否有，如果有就直接从redis中获取。当然redis不仅仅可以做缓存，下面入门学习一下。 什么是redis Redis（全称：Remote Dictionary Server 阅读全文

摘要： Springcloud是一款微服务框架，它基于Springboot，可以使用它用来管理纵向拆分的项目，将一个个的小项目变成微服务。下面简单的搭建一个微服务，使用eureka组件实现注册中心，使用ribbon组件实现微服务调用，使用zuul网关实现真实服务地址和访问地址的分离，其他技术后续补充。 sp 阅读全文

摘要： 在整合SSM的过程中，发现会花很多时间去整理配置文件，如spring相关的的applicationContext.xml，springweb相关的springmvc.xml，mybatis相关的sqlConfig.xml和sql映射文件，以及web.xml中的配置等，比较繁琐，配置也容易出问题。另外 阅读全文