摘要: mmap mmap是一种内存映射文件的方法,即将一个文件或者其它对象映射到进程的地址空间,实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后,进程就可以采用指针的方式读写操作这一段内存,而系统会自动回写脏页面到对应的文件磁盘上,即完成了对文件的操作而不必再调用rea 阅读全文
posted @ 2022-04-11 17:53 wqkant 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 内核角度的文件读写 https://www.cnblogs.com/huxiao-tee/p/4657851.html 系统调用 操作系统的主要功能是为管理硬件资源和为应用程序开发人员提供良好的环境,但是计算机系统的各种硬件资源是有限的,因此为了保证每一个进程都能安全的执行。处理器设有两种模式:“用 阅读全文
posted @ 2022-04-11 17:48 wqkant 阅读(38) 评论(0) 推荐(0) 编辑
摘要: Linux系统中的Page cache和Buffer cache Free命令显示内存 首先,我们来了解下内存的使用情况 Mem:表示物理内存统计。 total:表示物理内存总量(total = used + free)。 used:表示总计分配给缓存(包含buffers 与cache )使用的数量 阅读全文
posted @ 2022-04-11 17:38 wqkant 阅读(571) 评论(0) 推荐(0) 编辑
摘要: 通信协议 https://blog.csdn.net/qq_30815237/article/details/101108881 梳理一下每层模型的职责: 链路层:对0和1进行分组,定义数据帧,确认主机的物理MAC地址,传输数据; 网络层:定义IP地址,确认主机所在的网络位置,并通过IP进行MAC寻 阅读全文
posted @ 2022-04-11 17:15 wqkant 阅读(53) 评论(0) 推荐(0) 编辑
摘要: hadoop介绍 Hadoop是一个能够对大量数据进行分布式处理的软件框架。以一种可靠、高效、可伸缩的方式进行数据处理。主要包括三部分内容:Hdfs,MapReduce,Yarn hadoop版本 Hadoop2.0即为克服Hadoop1.0中的不足,提出了以下关键特性: Yarn:它是Hadoop 阅读全文
posted @ 2022-04-11 16:54 wqkant 阅读(120) 评论(0) 推荐(0) 编辑
摘要: 简单介绍yarn yarn是一个资源管理、任务调度的框架。主要包含三个模块:resourceManger、nodeManger、ApplicationMater。 简单介绍三个组件的作用 RM:负责所有资源的监控、分配和管理 AM:负责每一个具体应用程序的调度和协调 --applicationmas 阅读全文
posted @ 2022-04-11 16:14 wqkant 阅读(206) 评论(0) 推荐(0) 编辑
摘要: Linux下七种文件类型 文件类型标识文件类型 - 普通文件 d 目录 l 符号链接 s(伪文件) 套接字 b(伪文件) 块设备 c(伪文件) 字符设备 p(伪文件) 管道 占用存储空间的类型:文件、目录、符号链接。符号链接记录的是路径,路径不长时存在innode里面。其他四种:套接字、块设备、字符 阅读全文
posted @ 2022-04-11 15:42 wqkant 阅读(33) 评论(0) 推荐(0) 编辑