kafka的零拷贝详解

什么是kafka中的零拷贝问题

1. 传统的IO拷贝

传统的一次 I/O 流程包括应用程序发起读(read)或写(write)请求,操作系统将请求传递给设备驱动程序,驱动程序与硬件设备通信执行操作,设备完成后返回结果,操作系统再将结果返回给应用程序,应用程序根据结果进行处理。整个过程通常是同步的,应用程序会等待 I/O 操作完成后再继续执行

DMA拷贝
DMA是一种技术,允许外设直接访问系统内存进行数据传输,而无需经过CPU。负责管理内存和设备之间的数据传输。CPU只需初始化传输,DMA控制器在后台完成数据拷贝。并且减少了CPU的负担,提高了系统效率,因为CPU可以在DMA传输期间执行其他任务
CPU拷贝
CPU拷贝是指由CPU直接控制和执行数据在内存和设备之间的传输。CPU读取数据到寄存器,然后将数据写入目标位置。这种方式需要CPU全程参与。缺点是占用CPU资源,可能导致性能瓶颈,尤其是在大量数据传输时

2. 零拷贝MMP优化

通过将文件或设备的内容直接映射到进程的地址空间,程序可以像访问普通内存一样访问文件或者设备数据。进一步说,MMP是基于虚拟内存实现的。虚拟内存主要是干啥呢? 虚拟内存可以把内核空间和用户空间的虚拟地址映射到同一个地方, 这样用户对这个映射地址的操作, 内核空间也可以感知到, 那么内核和用户之间就可以减少拷贝了

posted @   Mason77  阅读(86)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 分享4款.NET开源、免费、实用的商城系统
· 全程不用写代码,我用AI程序员写了一个飞机大战
· Obsidian + DeepSeek:免费 AI 助力你的知识管理,让你的笔记飞起来!
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
点击右上角即可分享
微信分享提示