负载均衡实现方案

基于DNS的负载均衡

• 转载：https://www.cnblogs.com/arjenlee/p/9262737.html

DNS（Domain Name System，域名系统），因特网上作为域名和IP地址相互映射的一个分布式数据库，能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。通过主机名，最终得到该主机名对应的IP地址的过程叫做域名解析（或主机名解析）。DNS协议运行在UDP协议之上，使用端口号53。

DNS负载均衡技术是最早的负载均衡解决方案，它是通过DNS服务中的随机名字解析来实现的，在DNS服务器中，可以为多个不同的地址配置同一个名字，而最终查询这个名字的客户机将在解析这个名字时得到其中的一个地址。因此，对于同一个名字，不同的客户机会得到不同的地址，它们也就访问不同地址上的Web服务器，从而达到负载均衡的目的。

优点：实现简单、实施容易、成本低、适用于大多数TCP/IP应用；

缺点：

1、 负载分配不均匀，DNS服务器将Http请求平均地分配到后台的Web服务器上，而不考虑每个Web服务器当前的负载情况；如果后台的Web服务器的配置和处理能力不同，最慢的Web服务器将成为系统的瓶颈，处理能力强的服务器不能充分发挥作用；

2、可靠性低，如果后台的某台Web服务器出现故障，DNS服务器仍然会把DNS请求分配到这台故障服务器上，导致不能响应客户端。

3、变更生效时间长，如果更改NDS有可能造成相当一部分客户不能享受Web服务，并且由于DNS缓存的原因，所造成的后果要持续相当长一段时间(一般DNS的刷新周期约为24小时)。

基于四层交换技术的负载均衡

基于四层交换技术的负载均衡是通过报文中的目标地址和端口，再加上负载均衡设备设置的服务器选择方式，决定最终选择的内部服务器与请求客户端建立TCP连接，然后发送Client请求的数据。

1、用户访问从CIP到达VIP

2、负载均衡器DIP到达交换/路由器

3、最后到达后端的RIP真实的服务器

缺点：

• 后端：没有健康检查机制

• 自身：单点故障：主备模型（高可用）

• 数据倾斜

• 没有解决的问题：后端服务器如果臃肿，由计算和io瓶颈，lvs是无能为力的

解决LVS问题

1.需要心跳机制探测后端RS是否提供服务。

• 探测down，需要从lvs中删除该RS
• 探测发送从down到up，需要从lvs中再次添加RS。

2.Lvs DR，需要主备（HA）

• 主广播自己状态，备随时观察主状态，准备代替
• 主挂了，备推选

基于七层网络协议的负载均衡

web请求处理机制

-转载：https://www.cnblogs.com/dormant/p/5218266.html

从架构设计上说，Nginx服务器是与众不同的。其一在于它的模块化设计；其二也是更重要的一点在于它对与客户端请求的处理机制上；

web服务器和客户端是一对多的关系，Web服务器必须有能力同时为多个客户端提供服务。一般来说完成并行处理请求工作有三种方式：

1.多进程方式；

2.多线程方式；

3.异步方式；

这里简单说明一下这三种方式：

（1）多进程方式

多进程方式指，服务器每当收到一个客户端时。就有服务器主进程生成一个子进程出来和客户端建立连接进行交互。指导连接断开。该子进程就结束了。

多进程方式的优点是设计简单，各个子进程相对独立，处理客户端请求时彼此不受干扰；缺点是操作系统生成一个子进程需要进行内存复制等操作，在资源和时间上会产生一定的开销；当有大量请求时，会导致系统性能下降；

（2）多线程方式

多线程方式指每当服务器接收到一个请求后，会由服务器主进程派生出一个线程出来和客户端进行交互。由于操作系统产生出一个线程的开销远远小于一个进程的开销。故多线程方式在很大程度上减轻了Web服务器对系统资源的要求。但同时由于多个线程位于一个进程内，可以访问同样的内存空间。所以需要开发者自己对内存进程管理，增大了难度。

（3）异步方式

异步方式适合多进程和多线程完全不同的一种处理客户端请求的方式。这里有几个概念我们需要熟悉一下：同步，异步，阻塞，非阻塞；

在网络通信中同步和异步是描述通信模式的概念。

同步：发送方发送完请求后，需要等待接收到接收方发回的响应，才能发送下一个请求；所有请求在服务端得到同步，发送方和接收方的步调是一致的；

异步：和同步机制相反，在异步机制中，发送方发出一个请求后，不等接收方响应这个请求，就继续发送下一个请求；所有来自发送方的请求形成一个队列，接收方处理完成后通知发送方；

在进程处理调度方式上用阻塞与非阻塞。在网络通信中主要指套接字socket的阻塞和非阻塞，而socket的实质就是IO操作。

阻塞：调用结果返回之前，当前线程从运行状态被挂起，一直等到调用结果返回之后，才进入就绪状态，获取CPU后继续执行。

非阻塞：和阻塞方式正好相反，如果调用结果不能马上返回，当前线程也不会马上返回，而是立即返回执行下一个调用。

因此就衍生出4中方式：同步阻塞，同步非阻塞，异步阻塞，异步非阻塞

这里简单解释一下异步非阻塞：发送方向接收方发送请求后，不用等待响应，可以继续其他工作；接收方处理请求时进行的IO操作如果不能马上得到结果，也不必等待，而是马上返回去去做其他事情。当IO操作完成以后，将完成状态和结果通知接收方，接收方再响应发送方。

与此同时Nginx服务器处理请求是怎样的呢？？？

Nginx服务器的一个显著的优势就是能够同时处理大量的并发请求。它结合多进程机制和异步机制。异步机制使用的是异步非阻塞方式。（Master-Worker)。

每个工作进程使用异步非阻塞方式，可以处理多个客户端请求。当某个工作进程接收到客户端的请求以后，调用IO进行处理，如果不能立即得到结果，就去处理其他的请求；而客户端在此期间也无需等待响应，可以去处理其他事情；当IO返回时，就会通知此工作进程；该进程得到通知，暂时挂起当前处理的失误去响应客户端请求。

也就是：

Nginx采用异步非阻塞方式来处理请求，处理请求具体到系统底层就是读写事件（所谓阻塞调用方式即请求事件还没准备好，线程只能一直去等，等事件准备好了再处理；而非阻塞即事件没准备好，马上返回ENGAIN,告诉你事件还没准准备好，而在这期间可以先去做其他事，再回头看看事件准备好了吗，时不时会看，需要的开销也是不小的）
异步可以理解为循环处理多个准备好的事件，不会导致无谓的资源浪费，当有更多的并发数只会占用更多的内存而已;

事件驱动模型（C10问题解决）

• C10K问题：在传统的同步阻塞处理模型中，当创建的进程或线程过多时，缓存I/O、内核将数据拷贝到用户进程空间、阻塞，进程/线程上下文切换消耗大，简而言之 ，C10K问题就是无法同时处理大量客户端(10,000)的网络套接字。

解决思路

• 每个连接创建一个进程或线程

• 一个进程或线程同时处理多个连接

多线程处理多连接

• 申请和管理多线程需要占用额外资源，扩展性差，如tomcat。

单线程处理多连接

• select方式：使用fd_set结构体告诉内核同时监控那些文件句柄，使用逐个排查方式去检查是否有文件句柄就绪或者超时。该方式有以下缺点：文件句柄数量是有上线的，逐个检查吞吐量低，每次调用都要重复初始化fd_set。

• poll方式：该方式主要解决了select方式的2个缺点，文件句柄上限问题(链表方式存储)以及重复初始化问题(不同字段标注关注事件和发生事件)，但是逐个去检查文件句柄是否就绪的问题仍然没有解决。

• epoll方式：该方式可以说是C10K问题的killer，他不去轮询监听所有文件句柄是否已经就绪。epoll只对发生变化的文件句柄感兴趣。其工作机制是，使用"事件"的就绪通知方式，通过epoll_ctl注册文件描述符fd，一旦该fd就绪，内核就会采用类似callback的回调机制来激活该fd, epoll_wait便可以收到通知, 并通知应用程序。而且epoll使用一个文件描述符管理多个描述符,将用户进程的文件描述符的事件存放到内核的一个事件表中, 这样数据只需要从内核缓存空间拷贝一次到用户进程地址空间。而且epoll是通过内核与用户空间共享内存方式来实现事件就绪消息传递的，其效率非常高，但是epoll是依赖系统的(Linux)。

基于Zookeeper的软负载均衡

• 转载https://www.cnblogs.com/aspirant/p/9088322.html

• 原理：数据发布与订阅