提高服务器并发能力的方法论

　如何提高服务器并发能力，理论依据、方法是什么

　　呐，一台服务器，到底能处理多少并发？1万，10万，一百一千万？由什么决定呢？

　　不用说，最终肯定是由硬件决定！更强的cpu、更大的内存、更高的带宽、更高速的io设备……来一台IBM大型机，再菜的鸟也能整到百万并发

　　转载请注明原著：博客园老钟 https://www.cnblogs.com/littlecarry/

　　讨论硬件没有多大意义

　　我们要讨论的事，普通固定硬件条件下，如何提升单体服务器的并发能力。

　　并发，也就是单位时间里服务器处理的最大请求数，通常定义为1秒时间内。

 

首先明确一点，提高服务器并发能力，是一个系统性问题，不是一两个方法就能解决的。

 

一、回归问题的本质

        面对外部并发访问，服务器的行为描述为两点：连接请求、处理请求

　　1、连接请求

　　　成千上万的请求，同时连到服务器，如何高效管理？

　　2、处理请求

　　　那么多的请求要处理，如何快速执行完，然后返回、释放资源？

　　   一个请求执行的时间越短，服务器单位时间内能处理的请求就越多，并发能力就越强。

二、什么制约处理速度

　　 要提升服务器并发能力，就是要提升“连接请求”、“处理请求”的处理速度， 

　　1、提升操作系统的IO连接管理能力

　　　涉及面：阻塞、非阻塞、同步、异步IO，多路复用等。一个请求打到服务器，服务器要分配他内存、线程、cpu等资源，共享的方式，可以节约很多资源。

　　    提升方法：基于NIO多路复用技术 ，可以让上亿的请求，同时连在一台服务器上高效管理

　　2、提升操作系统的IO读写能力

　　　　涉及面：网络IO、硬盘IO、内存等。io的读写是很慢的，非常重要的瓶颈，请求的执行，可能涉及网络IO、硬盘IO、内存的读写，缩短或屏蔽这些读写，将大大提升执行速度。

　　　　提升方法：零拷贝、DMA、缓存等

　　3、改善系统资源竞争

　　　　涉及面：线程数量、锁竞争、内存申请释放、系统参数配置等

　　　　提升方法：1）线程越多，操作系统切换线程上下文消耗越大，线程少，IO的阻塞可能导致系统空转。通过实际调试分配合适的线程数量

　　　　　　　　    2）锁的种类很多，悲观、乐观，重入等等，选择合适的锁，能提升资源的竞争率。所有的锁都是悲观锁，是不可取的。

　　　　　　　　　3）内存合理的申请、释放，能节约资源的消耗

　　　　　　　　    4）系统参数、jvm参数，很多根据实际情况分配

　　4、改善编写代码能力

　　　　涉及面：代码架构、代码逻辑、代码对内存的操作等

              提升方法：多写代码，多看设计模式、架构，多了解内存模型

   三、 小结：

　　以上四点，也可以认为是性能瓶颈

　　很多网上说nginx的并发量是2万、5万、6万……，都是不对的，一是nginx的代码架构，并没有对并发量的约束，二是脱离了硬件。nginx的架构没有约束“连接请求”，“处理请求”，就看你对性能瓶颈的改善，以及你的硬件，这两点提升了，并发佰亿可能不是问题

　　当然，这里还有一个“单机性能”的问题，不用切换线程的操作系统，执行当然最快。所以需要处理百万级别的并发，分布式处理效率才是最高的。还有灾备、高可用等等问题

　　本文只是提供基本的理论思路，很多具体的方法不细说，得自行查询