摘要：
MapReduce：进行批处理（离线计算）基于磁盘。 Spark：基于内存（性能高一个层次）。 Hive：数据仓库，可以使用sql语句，Hive把sql语句转换成MapReduce作业，批量数据处理。 Pig：流数据处理，提供类似sql的查询语句PigLatin。 Oozie：作业流调度系统。 Zo 阅读全文
摘要：
一、大数据两大核心技术 分布式存储：解决海量数据的存储问题。 分布式处理：解决海量数据的处理问题。 分布式数据库：BigTable 分布式文件系统：GFS 分布式并行处理技术：MapReduce 二、大数据计算模式 批处理 实时计算 交互式计算 批处理计算：MapReduce是批处理计算模式的典型代 阅读全文
摘要：
一、redis哨兵模式的配置 1、此配置采用一主二从模式，实现redis哨兵集群的配置。 2、查看系统是否安装gcc库，若是安装，则进入下一步，否则用root用户登录服务器，通过yum安装gcc库。 查看gcc库是否安装命令： gcc -v yum安装gcc库命令： yum install gcc 阅读全文
摘要：
一、熔断 解决的问题 当所依赖的对象不稳定的时候，能够起到快速失败的目的 快速失败后，能够根据一定的算法动态试探所依赖对象是否恢复 二、降级 当某个服务熔断之后，服务器将不再被调用，此时客户端可以自己准备一个本地的fallback回调，返回一个缺省值。 三、限流 1、限流策略 线程隔离：通过线程数+ 阅读全文
摘要：
一、实现“优雅关闭”的原因 在服务重启的时候，对于服务调用方来说，存在以下两种情况： 1、服务调用方发送请求，目标服务已经下线，对于服务调用方来说，与目标节点的连接就会断开，此时服务调用方能够立马感知，并且在他的健康列表中会把这个节点给删除，因此该节点也不会被负载均衡选中。 2、服务调用方发送请求， 阅读全文
摘要：
一、实现请求路由的原因 为了减少上线变更导致的风险，这就需要在RPC中增加路由功能。 二、如何实现请求路由 1、服务注册发现方式 采用注册中心加入逻辑判断，然后根据服务调用方的信息选择节点推送给服务调用方。 2、RPC路由策略 （1）、IP路由策略 注册中心将所有的节点信息发送给服务调用方，但是同时 阅读全文
摘要：
一般情况下，负载均衡的策略有下面两种： 一、代理服务 在这种情况下，客户端不知道服务端的存在，客户端所有的请求全都发送至代理服务，代理服务将接收到的请求分发给服务端，并且实现公平的负载算法。 缺点：客户端不知道服务端的存在，且客户端不可信，代理服务会影响到服务本身的吞吐量。 优点：在中间件中做监控等 阅读全文
摘要：
一、RCP概念 RPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。 二、实 阅读全文
摘要：
题目：两数之和 给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的那 两个 整数，并返回它们的数组下标。 解法一（双重for循环） 时间复杂度O(n2) 空间复杂度O(1) class Solution { public int[] twoS 阅读全文
摘要：
一、Redis启动客户端命令：redis-cli --raw(加--raw的原因是为了避免乱码)。 二、其实在redis sorted sets里面当items内容大于64的时候同时使用了hash和skiplist两种设计实现。这也会为了排序和查找性能做的优化。 三、单个 Redis 命令的执行是原 阅读全文