服务器端开发技术

1. 多进程或多线程模型

多进程服务器：Apache，Nginx，lighttpd等服务器均为多进程模型，分为Master进程和Woker进程

多进程的优点：更强的容错性 - 一个进程挂掉不会导致整个系统崩溃，更好的多核可伸缩性 - 进程的使用将许多内核资源（如地址空间，页表，打开的文件）隔离，在多核系统上的可伸缩性强于多线程程序。

多线程服务器：Tomcat，Netty等服务器均为多线程模型，分为网络IO线程和业务线程。

多线程的优点：提高响应速度，让 IO 和“计算”相互重叠，降低latency。 虽然多线程不能提高绝对性能，但能提高平均响应性能。

2. 服务器端网络模型

Linux：select/poll/epoll模型

Java: ：BIO/NIO模型

3. 同步/异步模型

同步：典型的BIO模型，每个线程处理单个连接的网络数据读写和业务逻辑

异步:：典型的NIO模型，单个线程可以管理多个网络连接，网络事件驱动

同步和异步所关注的消息如何通知的机制,而不是处理消息的机制.也就是说,同步的情况下,是由处理消息者自己去等待消息是否被触发,而异步的情况下是由触发机制来通知处理消息者

阻塞和非阻塞很好区别，所谓阻塞就是系统调用完成时才返回，被阻塞的进程处于睡眠状态。非阻塞是指不管系统调用是否完成都立刻返回，不会导致进程挂起。 

异步化的三个层次：

Socket数据传输的异步化（NIO）

Http请求的异步化（Jetty Continuation，Servlet 3）

Work业务逻辑的异步化（Future, Callable, Runnable）

4. 进程间通信与线程间通信

多线程并发环境下，本质上要解决地是这两个问题：线程之间如何通信、线程之间如何同步。

Linux进程间通信手段：FIFO、POSIX 消息队列、共享内存、信号(signals) 、管道(pipe)、套接字（socket）等等

Linux多线程同步原语：互斥器(mutex)、条件变量(condition variable)、读

写锁(reader-writer lock)、文件锁(Record locking)、信号量(Semaphore) 等

Java平台上提供的多线程同步和通信机制

Java多线程通信及同步：wait/notify机制、synchronized关键字、Lock锁、Condition条件变量、Semaphore信号量、Atomic原子类、CyclicBarrier、CountDownLatch等等

5. 消息协议设计

TLV编码及其变体：Protobuf/thrift/ASNBER都属于这种。

文本流编码：XML/JSON都属于这种。

固定结构编码：TCP/IP即属于这种。

混合结构编码：固定结构+文本协议

6. 协程模型

一个请求的处理过程其实是需要消耗一个原生线程的，协程的好处其实就是做到真正的复用线程，避免在做等待等动作时仍然占据着线程。当然，协程只有量大的情况下才能体现出优势，从每请求一个线程的时代不如多请求共用线程，充分发挥CPU的能力，避免消耗在无谓的切换上。

协程与线程的区别在于，协程的上下文切换是在完全在用户态，由语言的runtime或者是库来完成的。而线程上下文切换则是操作系统来完成的。

在Java中实现协程的框架有Kilim，Kilim执行一项任务创建Task，使用Task的暂停机制，而不是Thread，Kilim承担了线程调度以及上下切换动作，Task相对于原生Thread而言就轻量级多了，且能更好利用CPU。Kilim带来的是线程使用率的提升，但同时由于要在JVM堆中保存Task上下文信息，因此在采用Kilim的情况下要消耗更多的内存。