io 多路复用

 

IO多路复用（IO Multiplexing）是一种同步IO模型，它允许单个进程或线程同时处理多个IO请求。
这种机制通过监视多个文件描述符（如socket连接），
并在它们准备好进行读写操作时立即响应，从而提高了系统的并发性和响应能力。以下是IO多路复用的详细原理：

一、基本概念
IO：在计算机中，任何涉及到计算机核心（CPU和内存）与其他设备（如打印机、鼠标、键盘等）间的数据转移过程都称为IO。
文件描述符：在Unix和类Unix系统中，所有的IO操作都通过文件描述符来进行。文件描述符是一个非负整数，
用于标识一个打开的文件或I/O设备。
多路复用：指的是单个进程或线程能够同时监视多个文件描述符，并在它们准备好时进行处理。
二、技术实现
IO多路复用主要通过以下几种技术实现：

select机制
原理：程序通过调用select函数来监视一组文件描述符，并在其中任何一个文件描述符就绪（可读或可写）
时通知程序进行相应的操作。
缺点：
文件描述符集合的大小有限，一般不超过1024个。
每次调用select函数都需要将所有待监视的文件描述符集合从用户空间拷贝到内核空间，效率较低。
select函数返回后需要遍历所有文件描述符集合，以确定哪些文件描述符已经就绪，效率较低。
poll机制
原理：通过调用poll函数来监听多个文件描述符，当有文件描述符就绪时，poll函数会返回就绪的文件描述符。
缺点：
与select类似，poll也需要遍历所有文件描述符，效率不高。
fds数组需要在每次调用poll函数时重新构建，影响效率。
epoll机制
原理：epoll是Linux内核2.5版本引入的一种高效的IO多路复用机制。
它使用三个主要函数：epoll_create()、epoll_ctl()和epoll_wait()。
epoll_create()：创建一个epoll实例，并返回一个文件描述符。
epoll_ctl()：用于向epoll实例中添加、修改或删除要监视的文件描述符及其事件。
epoll_wait()：等待事件的发生，并返回已就绪的文件描述符及其事件类型。
优点：
无需遍历所有文件描述符，只需关注已就绪的文件描述符，效率更高。
使用mmap技术，避免了select和poll中文件描述符集合在用户空间和内核空间之间的频繁拷贝。
支持水平触发和边缘触发两种模式，更加灵活。
三、工作流程
以epoll为例，其工作流程大致如下：

创建一个epoll实例。
向epoll实例中添加需要监视的文件描述符及其事件。
调用epoll_wait()等待事件的发生。
当epoll_wait()返回时，根据返回的文件描述符和事件类型进行相应的处理。
四、应用场景
IO多路复用广泛应用于需要处理大量并发连接的网络服务器中，如Nginx、Redis等。通过IO多路复用，
这些服务器能够在单线程或少量线程的情况下实现高并发处理，
从而提高了系统的性能和资源利用率。

综上所述，IO多路复用是一种高效的IO处理机制，它通过同时监视多个文件描述符并在它们就绪时立即响应，
提高了系统的并发性和响应能力。
在实际应用中，应根据具体场景选择合适的IO多路复用技术以实现最佳性能。

 

 

 

Redis 的 **I/O 多路复用（I/O Multiplexing）** 是其高性能的核心机制之一，用于高效处理大量并发客户端连接。它通过单线程（主线程）同时监听多个网络套接字（Socket），实现非阻塞的事件驱动模型。以下是其工作原理的详细解释：

---

### 1. 传统阻塞 I/O 的问题
在传统阻塞模型中，每个客户端连接需要一个独立的线程或进程处理。当线程因等待数据而阻塞时（如等待客户端发送请求），会浪费 CPU 资源。对于高并发场景，线程/进程的创建、切换和资源消耗会成为瓶颈。

---

### 2. I/O 多路复用的核心思想
I/O 多路复用通过 **单线程监听多个 Socket 事件**，当某个 Socket 有数据可读或可写时，操作系统会通知程序处理。Redis 的主线程基于事件循环（Event Loop）实现这一机制，避免了线程阻塞和频繁的上下文切换。

---

### 3. 多路复用的实现机制
Redis 使用操作系统提供的 **I/O 多路复用 API**（如 `select`、`poll`、`epoll`、`kqueue`），不同操作系统选择不同实现：
- **Linux**：`epoll`（高效的事件驱动模型）
- **BSD/macOS**：`kqueue`
- **其他系统**：`select` 或 `poll`

以 Linux 的 `epoll` 为例，其工作原理如下：

#### 3.1 注册 Socket 事件
- Redis 主线程通过 `epoll_ctl()` 将所有客户端 Socket 注册到 `epoll` 实例中，关注的事件包括：
  - **可读事件**（客户端发送了请求）
  - **可写事件**（需要向客户端返回数据）。

#### 3.2 等待事件就绪
- 主线程调用 `epoll_wait()` 进入阻塞等待，直到某些 Socket 有事件发生（如数据到达）。
- `epoll_wait()` 返回一个**就绪事件列表**，仅包含已触发事件的 Socket，无需遍历所有连接。

#### 3.3 处理事件
- Redis 主线程按顺序处理就绪事件：
  1. **读事件**：读取客户端请求，解析命令，存入内存队列。
  2. **写事件**：将响应数据写入 Socket 缓冲区，由操作系统发送给客户端。

整个过程是非阻塞的：主线程仅在等待事件时阻塞，处理事件时完全占用 CPU。

---

### 4. Redis 的事件循环流程
Redis 的事件循环（Event Loop）简化流程如下：
```plaintext
初始化 -> 注册 Socket 到多路复用器 -> 进入循环:
  1. 调用 epoll_wait() 等待事件（阻塞）。
  2. 获取就绪事件列表。
  3. 处理就绪事件：
     - 读事件：读取请求、执行命令、生成响应。
     - 写事件：发送响应数据。
  4. 处理时间事件（如定时任务、Key 过期）。
```

---

### 5. 关键设计细节
#### 5.1 单线程模型的优化
- **避免锁竞争**：单线程处理所有 I/O 和命令执行，无需加锁。
- **顺序执行**：命令按顺序执行，天然支持原子性。
- **非阻塞 I/O**：Socket 设置为非阻塞模式，读写操作不会阻塞线程。

#### 5.2 事件分发与处理
- **读事件优先**：优先处理读事件（接收请求），再处理写事件（返回结果）。
- **批量处理**：一次 `epoll_wait()` 可能返回多个事件，Redis 会批量处理。

#### 5.3 高性能的根源
- **零拷贝技术**：通过 Socket 缓冲区直接读写数据，减少内存复制。
- **纯内存操作**：数据存储在内存中，避免磁盘 I/O 延迟。

---

### 6. 多路复用 vs 多线程
Redis 6.0 之前**主线程完全单线程**，6.0 后引入多线程处理**网络 I/O**（但命令执行仍由主线程完成）：
- **多线程网络 I/O**：多个线程并行读取请求和写回响应，提升吞吐量。
- **单线程命令执行**：保证原子性，避免锁竞争。

---

### 7. 总结：多路复用的优势
1. **高吞吐量**：单线程可处理数万甚至百万级并发连接。
2. **低延迟**：事件驱动模型减少不必要的等待。
3. **资源高效**：避免线程/进程切换开销。
4. **可扩展性**：通过多路复用 API 适配不同操作系统。

通过 I/O 多路复用，Redis 在单线程架构下实现了极高的并发性能，成为内存数据库的经典设计范式。