高并发系统保护~ing

    由于公司业务发展，需要考虑一些高并发系统保护的问题，整理记录一下。

　当发现你的系统出现访问卡顿，服务器各种性能指标接近100%（如果一个初创型企业系统正常运行情况下出现这个问题，那么应该恭喜你，你懂得），首先想到的是该加机器了，现在要说的并不是加机器的事，而是说在高并发的情况下，从代码层面如何保护系统，记得某位大神的博客里讲过“在开发高并发系统时，有三把利器用来保护系统：缓存、降级和限流”。通过缓存，降级，限流能够很好地给你的系统加个保护罩。

　　一.缓存

　　缓存是一种提高系统读性能的常见技术，对于读多写少的应用场景，我们经常使用缓存来进行优化。由于大部分的请求时查询，通过缓存能够极大降低数据库的压力。缓存的做法多种多样，客户端可以做缓存，服务端可以做缓存。

　　当前主要的缓存方式有文件缓存，利用nosql缓存，一大坨数据通过一定的算法和配置分摊到集群中的若干台机器上（系统足够大的时候这么干比较好）。当前用的比较多的

　　（1）文件缓存   

　　（2）redis ，memcache   利用内存读取速度，达到高速查询的目的

　　细节不多说了，还有一些缓存的方式如cdn等，具体的搜索去吧，还是那句话，不懂谷歌百度的程序员不是好厨子。

　　二.降级 

　　当访问量剧增、服务出现问题（如响应时间慢或不响应）或非核心服务影响到核心流程的性能时，仍然需要保证服务还是可用的，即使是有损服务。系统可以根据一些关键数据排查，进行系统降级。

　　那么何为降级呢，降级其实总结起来就四个字“弃卒保帅”。举个例子来讲，拿电商网站来说吧，降级要做到的，保证核心购物流程，将级其他非核心业务功能。

　　降级的功能点主要从服务端链路考虑，从用户访问的角度，来梳理那些服务或者功能需要降级。

　　页面降级：在大促或者某些特殊情况下，某些页面占用了一些稀缺服务资源，在紧急情况下可以对其整个降级，以达到丢卒保帅；

　　页面片段降级：比如商品详情页中的商家部分因为数据错误了，此时需要对其进行降级；

　　页面异步请求降级：比如商品详情页上有推荐信息/配送至等异步加载的请求，如果这些信息响应慢或者后端服务有问题，可以进行降级；

　　服务功能降级：比如渲染商品详情页时需要调用一些不太重要的服务：相关分类、热销榜等，而这些服务在异常情况下直接不获取，即降级即可；

　　读服务降级：比如多级缓存模式，如果后端服务有问题，可以降级为只读缓存，这种方式适用于对读一致性要求不高的场景；

　　写服务降级：比如秒杀抢购，我们可以只进行Cache的更新，然后异步同步扣减库存到DB，保证最终一致性即可，此时可以将DB降级为Cache。(常用手段)

　　...降级手法比较多，在这里就不一一说了。

　　三.限流   代码层算法实现

　　所谓限流，顾名思义，就是限制流量，通过限流我们可以很好地控制系统的QPS，从而达到保护系统的目的。

　　常用的算法有，计数器法（有临界值问题），漏桶算法，令牌桶算法。由于令牌桶算法由于实现简单，且允许某些流量的突发，对用户友好，所以被业界采用地较多。现在就来搞一下令牌桶算法。

　　为了更好的理解令牌桶算法，先附个图：

        

 

 理解：有一个固定容量的桶，桶里存放着令牌（token）。桶一开始是空的，token以一个固定的速率r往桶里填充，直到达到桶的容量，多余的令牌将会被丢弃。每当一个请求过来时，就会尝试从桶里移除一个令牌，如果没有令牌的话，请求无法通过。直接上代码

//令牌桶伪代码走起
public class TokenBucket
{
    public long timeStamp = NowTime();//当前时间
    public int capacity; // 桶的容量
    public int rate; // 令牌放入速度
    public int tokens; // 当前令牌数量
    public boolean grant() 
    {
        long now = NowTime();
        // 先添加令牌
        tokens = min(capacity, tokens + (now - timeStamp) * rate); 
        timeStamp = now;
        if (tokens < 1) 
        {
            // 若不到1个令牌,则拒绝
            return false;
        }else {
            // 还有令牌，领取令牌
            tokens -= 1;
            return true;
        }
    }
}