Linux 零拷贝技术-mmap与sendFile

零拷贝是网络编程的关键, 很多性能优化都离不开

数据角度分析 : 在零拷贝机制中 , 整个数据在内存中只有一份数据 , 非零拷贝机制中 , 内核缓冲区 , 用户缓冲区 , Socket 缓冲区 , 各有一份数据 ;

零拷贝指的是没有 CPU 拷贝 , 都是 DMA ( 直接内存访问 ) 拷贝 ;

零拷贝性能优势 : 没有复制数据带来的内存开销 , 没有 CPU 拷贝 , 直接节省了大量 CPU 计算资源 ;

普通IO方式

普通io读取本地文件，网络发送

File file = new File("index.html");
RandomAccessFile raf = new RandomAccessFile(file, "rw");
byte[] arr = new byte[(int)file.length()];
raf.read(arr);
Socket socket = new ServerSocket(8080).accept();
socket.getOutputStream().write(arr);

读写文件100M文件，不是分配100M内存，而是分配64k内存循环读写，否则直接分配100M，其他应用就容易被挂起。
send是写内存缓冲区成功,不是写到网络成功,网络可能一直发送不完。所以下次send的时候可能失败,因为buffer满,没发送出去.

下面说说他们的步骤：

1. read 调用导致用户态到内核态的一次变化，同时，第一次复制开始：DMA（Direct Memory Access，直接内存存取，即不使用 CPU 拷贝数据到内存，而是 DMA 引擎传输数据到内存，用于解放 CPU） 引擎从磁盘读取index.html文件，并将数据放入到内核缓冲区。
2. 发生第二次数据拷贝，即：将内核缓冲区的数据拷贝到用户缓冲区，同时，发生了一次用内核态到用户态的上下文切换。
3. 发生第三次数据拷贝，我们调用 write 方法，系统将用户缓冲区的数据拷贝到 Socket 缓冲区。此时，又发生了一次用户态到内核态的上下文切换。
4. 第四次拷贝，数据异步的从 Socket 缓冲区，使用 DMA 引擎拷贝到网络协议引擎。这一段，不需要进行上下文切换。
5. write 方法返回，再次从内核态切换到用户态。

从本地磁盘读取数据，通过网络发送出去，用户态和内核态之间需要发生4次切换；数据从磁盘取出来之后，一共要经过4次拷贝。

mmap(内存映射)

把磁盘文件映射到内存中，然后把映射到内存的数据通过Socket发送出去。

buf = mmap(file, len);
write(sockfd, buf, len);

mmap，内存映射，直接将磁盘文件数基于DMA引擎拷贝据映射到内核缓冲区，同时用户缓冲区是跟内核缓冲区共享一块映射数据，建立映射后，不需要从内核缓冲区拷贝到用户缓冲区。可减少一次拷贝。总共是4次切换，3次拷贝。

sendFile

Linux提供sendfile技术。Kafka中，transferFrom和transferTo方法。

只要2次切换，2次拷贝。

• 用户态切换到内核态，DMA 引擎从文件拷贝到内核缓冲区，同时从内环缓冲区拷贝一些offset和length数据到socket缓冲区

• 从内核态切换到用户态，从内核缓冲区直接把数据拷贝到网络协议引擎里去，同时从Socket缓冲区拷贝一些offset和length信息到网络协议引擎里去

offset和length量几乎可以忽略。

零拷贝不仅仅带来更少的数据复制，还能带来其他的性能优势，例如更少的上下文切换，更少的 CPU 缓存伪共享以及无 CPU 校验和计算。

各种框架使用零拷贝案例

kafka 在客户端和 broker 进行数据传输时，会使用 transferTo 和 transferFrom 方法，即对应 Linux 的 sendFile。

tomcat 内部在进行文件拷贝的时候，也会使用 transferto 方法。

tomcat 在处理一下心跳保活时，也会调用该 sendFile 方法。

所以，如果你需要优化网络传输的性能，或者文件读写的速度，请尽量使用零拷贝。它不仅能较少复制拷贝次数，还能较少上下文切换，缓存行污染。

小结

mmap与sendFile区别

• mmap 用于文件共享，很少用于socket操作，sendfile用于发送文件.
• mmap 适合小数据量读写，sendFile 适合大文件传输。
• mmap 需要 4 次上下文切换，3 次数据拷贝；sendFile 需要 2 次上下文切换，最少 2 次数据拷贝。
• sendFile 可以利用 DMA 方式，减少 CPU 拷贝，mmap 则不能（必须从内核拷贝到 Socket 缓冲区）。

mmap和共享内存的区别：

mmap是共享一个文件，共享内存是共享一段内存。mmap还可以写回到file.

mmap缺点：

mmap 每次读入都是1页即4k，所以少于4k会造成大量内存碎片. 但是通过read,write也是这样的。

mmap适用场景,是取代read,write 文件.

使用mmap+write方式

优点：即使频繁调用，使用小文件块传输，效率也很高
缺点：不能很好的利用DMA方式，会比sendfile多消耗CPU资源，内存安全性控制复杂，需要避免JVM Crash问题

使用sendfile方式

优点：可以利用DMA方式，消耗CPU资源少，大块文件传输效率高，无内存安全新问题
缺点：小块文件效率低于mmap方式，只能是BIO方式传输，不能使用NIO

rocketMQ 在消费消息时，使用了 mmap，因为小块数据传输比sendFile好。kafka 使用了 sendFile。

参考：

linux下的mmap和零拷贝技术

零拷贝原理详解

零拷贝技术：mmap和sendfile