【计算机网络】多路复用
1. 定义与核心思想
多路复用（Multiplexing）是一种 通过单一资源（如一个线程、一个网络连接或一个物理信道）同时处理多个独立任务或数据流 的技术。其核心目标是 提高资源利用率，避免为每个任务单独分配资源导致的性能瓶颈或资源浪费。
2. 多路复用的类型
根据应用场景和技术实现，多路复用主要分为以下两类：
2.1 物理层的多路复用（通信领域）
用于在单一物理媒介（如光纤、电缆）中同时传输多路信号：
- 频分多路复用（FDM）：将带宽划分为多个频段，每路信号占用不同频率（如广播电台）。
- 时分多路复用（TDM）：将时间分成固定时隙，轮流传输多路信号（如传统电话网络）。
- 波分多路复用（WDM）：在光纤中用不同波长传输多路光信号（现代高速网络）。
- 码分多路复用（CDM）：通过编码区分信号（如移动通信中的CDMA技术）。
2.2 软件层的多路复用（计算机领域）
用于高效管理多个I/O操作或任务：
- I/O多路复用：单线程监控多个文件描述符（如Socket），实现高并发网络通信。
- HTTP/2多路复用：在单个TCP连接中并行传输多个HTTP请求/响应。
- 数据库连接池：复用数据库连接，避免频繁创建/销毁连接的开销。
3. I/O多路复用（网络编程中的核心场景）
I/O多路复用 是网络编程中实现高并发的关键技术，允许 单线程/进程同时监听多个I/O事件（如Socket的可读、可写状态），避免为每个连接创建独立线程的资源消耗。
3.1 核心原理
- 注册与监听：将多个文件描述符（如Socket）注册到多路复用器（如select、epoll）。
- 事件驱动：操作系统内核通知程序哪些描述符已就绪（如数据到达、连接可接受）。
- 批量处理：程序仅处理已就绪的I/O操作，避免轮询所有描述符的开销。
3.2 常见实现方式
| 技术 | 操作系统 | 特点 |
|---|---|---|
| select | 跨平台 | 支持文件描述符数量有限（默认1024），线性扫描所有描述符，性能较低。 |
| poll | 跨平台 | 改进select的文件描述符数量限制，但仍需线性扫描。 |
| epoll | Linux | 基于事件回调，仅返回就绪的描述符，支持水平触发（LT）和边缘触发（ET）。 |
| kqueue | BSD/macOS | 类似epoll，支持文件系统事件监控。 |
| IOCP | Windows | 异步I/O模型，基于完成端口（Completion Port），适合高吞吐场景。 |
3.3 水平触发（LT） vs 边缘触发（ET）
- 水平触发（LT）：只要描述符处于就绪状态（如缓冲区有数据未读），会持续通知程序。
- 边缘触发（ET）：仅在状态变化时（如新数据到达）通知一次，需程序一次性处理完所有数据。
4. 多路复用的应用场景
| 场景 | 说明 |
|---|---|
| 高并发服务器 | 单线程处理数万并发连接（如Nginx、Redis）。 |
| 实时通信系统 | 同时监控多个客户端连接，快速响应消息（如聊天服务器）。 |
| 文件传输服务 | 高效管理多个文件上传/下载任务。 |
| 物联网设备网关 | 处理大量设备的数据上报与控制指令下发。 |
5. 多路复用 vs 多线程/多进程
| 对比维度 | 多路复用 | 多线程/多进程 |
|---|---|---|
| 资源消耗 | 单线程，内存和CPU占用低。 | 每个线程/进程占用独立资源，开销大。 |
| 上下文切换 | 无频繁切换，性能更高。 | 线程/进程切换消耗CPU资源。 |
| 编程复杂度 | 需处理异步逻辑，代码较复杂。 | 逻辑简单，但需处理锁和竞态条件。 |
| 适用场景 | 高并发、I/O密集型任务（如Web服务器）。 | CPU密集型任务（如计算、数据处理）。 |
6. 代码示例（Python selectors 库）
import selectors
import socket
# 创建多路复用器（自动选择最优实现，如epoll）
sel = selectors.DefaultSelector()
# 服务器Socket初始化
server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.bind(('0.0.0.0', 8080))
server.listen()
def accept(sock):
client, addr = sock.accept()
print(f"Connected by {addr}")
sel.register(client, selectors.EVENT_READ, read) # 注册客户端Socket
def read(client):
data = client.recv(1024)
if data:
client.send(data) # 回显数据
else:
sel.unregister(client)
client.close()
# 注册服务器Socket，监听连接事件
sel.register(server, selectors.EVENT_READ, accept)
# 事件循环
while True:
events = sel.select() # 阻塞等待就绪事件
for key, mask in events:
callback = key.data # 获取注册时的回调函数（accept或read）
callback(key.fileobj)
7. 注意事项
- 性能调优：根据负载选择合适的复用技术（如Linux首选epoll）。
- 避免阻塞：多路复用线程中不应有阻塞操作（如耗时计算），否则会拖慢整体响应。
- 缓冲区管理：边缘触发（ET）模式下需循环读取数据，确保清空缓冲区。
- 超时处理：设置合理的超时时间，防止select/epoll无限阻塞。
8. 总结
多路复用的本质是 通过高效的事件通知机制，最大化资源利用率。无论是物理层的信号传输，还是软件层的并发处理，它都通过“共享资源、按需分配”的思想解决了大规模任务管理的难题。在网络编程中，掌握I/O多路复用技术（如epoll）是构建高性能服务器的基石，也是现代高并发框架（如Node.js、Nginx）的核心实现原理。