1. 历史
- 早期概念 (1970s - 1980s): 零拷贝技术的概念可以追溯到1970年代，当时操作系统开始引入直接内存访问 (DMA) 等技术来减轻 CPU 在数据传输方面的负担。
- 发展阶段 (1990s - 2000s): 随着网络带宽的增加和数据密集型应用的兴起，零拷贝技术开始受到更多关注。Linux 内核在这一时期引入了 sendfile() 系统调用，标志着零拷贝技术的重要里程碑。
- 广泛应用 (2010s - 至今): 随着云计算和大数据时代的到来，零拷贝技术已经成为高性能数据处理系统不可或缺的一部分。现代操作系统和编程框架都提供了丰富的零拷贝技术支持。
2. 成因
- CPU 瓶颈: 在高速网络传输等场景下，传统的复制数据方式会消耗大量的 CPU 时间，使得 CPU 成为瓶颈，限制了数据传输速度。
- 资源浪费: 使用 CPU 进行大量简单的数据复制操作是对资源的浪费，因为其他更简单的系统组件可以完成这些任务。
- 性能损耗: 上下文切换和数据复制操作都会带来额外的性能开销，降低系统整体效率。
3. 解决方案：零拷贝技术
零拷贝技术通过避免 CPU 进行不必要的数据复制，直接在内存中传递数据，从而提高数据处理效率。
3.1 零拷贝涉及的系统调用
Linux系统中，以下系统调用常用于实现零拷贝：
mmap(): 将文件或设备内存映射到进程地址空间，允许应用程序像访问内存一样访问文件/设备数据，减少用户空间和内核空间之间的数据拷贝。sendfile(): 在两个文件描述符之间直接传输数据，通常用于将文件内容发送到网络socket，避免了数据从内核空间拷贝到用户空间。splice(): 在两个文件描述符之间移动数据，可以使用管道(pipe)作为中间缓冲区，避免了数据拷贝到用户空间。io_uring: Linux内核较新的异步I/O接口，通过避免系统调用和数据拷贝来提高性能，可以实现真正的零拷贝。
3.2 零拷贝的实现机制
零拷贝技术的实现依赖于操作系统和硬件的支持，主要机制包括：
- DMA (Direct Memory Access): 允许硬件设备(如网卡、磁盘控制器)直接访问主内存，无需CPU干预，实现数据在内存和设备之间的高效传输。
- 内存映射 (Memory Mapping): 将文件或设备内存映射到进程地址空间，应用程序可以直接读写内存映射区域，就像操作普通内存一样，无需进行系统调用和数据拷贝。
- 内核空间数据传递: 在内核空间的不同子系统之间直接传递数据，例如将数据从文件系统缓存直接传递到网络协议栈，无需经过用户空间。
3.3 零拷贝的使用条件和确定方法
并非所有情况下都适合使用零拷贝技术，需要考虑以下因素：
使用条件:
- 操作系统和硬件支持: 操作系统需要提供相应的系统调用(如sendfile、mmap)，硬件需要支持DMA等功能。
- 数据传输量: 数据量较大时，零拷贝带来的性能提升才比较明显。
- 数据是否需要处理: 如果需要对数据进行加密、压缩等操作，则需要将数据拷贝到用户空间进行处理，无法使用零拷贝。
确定方法:
- 分析应用场景: 判断应用场景是否涉及大量数据传输，例如网络服务、大文件传输、流媒体等。
- 评估性能瓶颈: 使用性能分析工具识别系统瓶颈，如果数据拷贝是瓶颈，则可以考虑使用零拷贝技术。
- 测试和比较: 针对具体应用场景，测试比较使用和不使用零拷贝技术的性能差异，选择最优方案。
””” 我在编写代码的时候，我怎么知道哪些代码涉及到的是cpu,哪些操作是dma，我不都是写代码吗？ “””
4. 原理
- 减少数据复制次数: 传统的数据传输方式需要多次在用户空间和内核空间之间复制数据，而零拷贝技术尽量减少甚至避免了这些复制操作。
- 减少上下文切换: 零拷贝技术减少了用户空间和内核空间之间切换的次数，从而降低了系统开销。
- 利用 DMA 等硬件加速: 零拷贝技术 often 利用 DMA（直接内存访问）等硬件机制，将数据传输任务 offload 给专门的硬件处理，进一步解放 CPU。
5. 总结
零拷贝技术通过减少数据复制和上下文切换，有效提高了计算机系统的数据处理性能，尤其适用于对性能要求较高的场景，例如高速网络传输等。
6. 应用
零拷贝技术在很多领域都有广泛的应用：
- Web 服务器: 高效地传输静态文件。
- 数据库系统: 加速数据查询和备份。
- 流媒体平台: 快速传输视频数据。
7. 挑战和未来方向
- 兼容性问题: 不同的操作系统和硬件平台可能需要不同的零拷贝实现方式。
- 安全性考虑: 零拷贝技术需要更精细的权限控制，以防止数据泄露等安全问题。
8. 常见问题
1. CPU 本身有“内核态”和“用户态”的概念吗？
- 没有。CPU 本身并没有“内核态”和“用户态”的概念，这两个概念是操作系统为了保护自身和管理硬件资源而引入的运行级别或特权级别。
2. CPU 如何支持操作系统实现用户态和内核态？
- CPU 架构的设计者会在 CPU 的指令集和体系结构中定义不同特权级别的机制，并规定每个级别可以执行的操作和访问的资源。
- 操作系统开发者会根据 CPU 架构提供的机制，在操作系统内核中实现用户态和内核态的切换机制，并定义系统调用接口，允许用户程序在需要时请求操作系统内核的服务。
3. CPU 如何区分用户空间和内核空间？
- CPU 本身并不区分用户空间和内核空间，这是操作系统的内存管理单元 (MMU) 负责的。
- CPU 提供了一种机制，允许操作系统配置 MMU，将不同的虚拟地址空间映射到不同的物理地址空间，并为每个地址空间设置不同的访问权限。
4. 用户态和内核态分别可以访问哪些内存区域？
- 用户态：只能访问用户空间的内存。
- 内核态：可以访问所有内存区域，包括用户空间和内核空间。
5. 为什么要区分用户态和内核态？
- 保护操作系统：防止用户程序恶意破坏操作系统内核的代码和数据。
- 隔离应用程序：防止不同应用程序之间相互干扰。
6. 用户态和内核态如何切换？
- 系统调用：应用程序请求操作系统内核服务时触发。
- 中断：硬件设备通知操作系统事件时触发。
7. 零拷贝技术通常在哪个状态下完成？
- 通常在内核态下完成，因为它需要操作硬件设备，例如使用 DMA 技术。
8.文件系统文件如何映射到内存中？
文件系统文件映射到内存中，主要依靠的是虚拟内存和页面缓存机制。
- 虚拟内存: 现代操作系统都使用了虚拟内存技术，它为每个进程提供了一个独立的虚拟地址空间。进程看到的地址是虚拟地址，而操作系统负责将虚拟地址映射到真实的物理地址。
- 页面缓存: 操作系统会将经常访问的文件数据缓存到内存中，这部分内存被称为页面缓存。当进程需要访问文件数据时，操作系统首先检查数据是否已经在页面缓存中。如果存在，就直接使用缓存中的数据，避免了磁盘 I/O 操作，从而提高了效率。
文件映射到内存的过程：
- 应用程序调用
mmap()系统调用，请求将文件的一部分或全部映射到进程的虚拟地址空间。 - 操作系统内核检查文件数据是否已经在页面缓存中。
- 如果数据不在缓存中，内核会从磁盘读取数据到页面缓存。
- 内核将包含文件数据的物理页面映射到进程的虚拟地址空间，并返回一个指向映射区域起始地址的指针给应用程序。
- 应用程序可以直接读写映射区域的内存，就像操作普通内存一样，而无需进行
read()或write()系统调用。 - 当应用程序修改映射区域的数据时，页面缓存中的数据也会被修改，并最终被写回磁盘。
如果映射不发生会怎么样?
如果不使用内存映射，应用程序就需要使用 read() 和 write() 系统调用来读写文件数据。这会导致以下问题：
- 数据拷贝: 每次读写都需要将数据在用户空间和内核空间之间进行拷贝，增加了 CPU 的负担。
- 系统调用开销: 每次系统调用都会产生一定的开销，频繁的系统调用会降低系统性能。
- 编程复杂: 应用程序需要自己管理缓冲区，处理数据分块读取等问题，增加了编程的复杂度。
9. 零拷贝这么好，为啥不什么情况下都使用？
虽然零拷贝技术有很多优势，但也并非所有情况下都适用，主要原因如下：
- 硬件和操作系统支持: 零拷贝技术需要硬件 (如网卡、磁盘控制器) 和操作系统的支持。
- 数据处理: 如果需要对数据进行加密、压缩、格式转换等操作，就需要将数据拷贝到用户空间进行处理，无法直接使用零拷贝。
- 数据量: 当数据量较小时，零拷贝带来的性能提升可能并不明显，甚至可能由于额外的操作而降低性能。
- 编程复杂度: 使用零拷贝技术需要更复杂的编程，例如使用
mmap()需要处理页面错误等问题。