文件IO:sync、fsync、fdatasync、fflush
引言:可以先看 存储层次结构 和 Linux 文件I/O,理解缓存读写方式和文件I/O,看这篇就很容易了。
一、sync、fsync、fdatasync
传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存,大多数磁盘I/O都通过缓冲进行。当将数据写入文件时,内核通常先将该数据复制到其中一个缓冲区中,如果该缓冲区尚未写满,则并不将其排入输出队列,而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时,再将该缓冲排入输出队列,然后待其到达队首时,才进行实际的I/O操作。这种输出方式被称为延迟写(delayed write)(Bach [1986]第3章详细讨论了缓冲区高速缓存)。
延迟写减少了磁盘读写次数,但是却降低了文件内容的更新速度,使得欲写到文件中的数据在一段时间内并没有写到磁盘上。当系统发生故障时,这种延迟可能造成文件更新内容的丢失。为了保证磁盘上实际文件系统与缓冲区高速缓存中内容的一致性,UNIX系统提供了sync、fsync和fdatasync三个函数。
sync函数只是将所有修改过的块缓冲区排入写队列,然后就返回,它并不等待实际写磁盘操作结束。
通常称为update的系统守护进程会周期性地(一般每隔30秒)调用sync函数。这就保证了定期冲洗内核的块缓冲区。命令sync(1)也调用sync函数。
fsync函数只对由文件描述符filedes指定的单一文件起作用,并且等待写磁盘操作结束(阻塞的),然后返回。fsync可用于数据库这样的应用程序,这种应用程序需要确保将修改过的块立即写到磁盘上。
fdatasync函数类似于fsync,但它只影响文件的数据部分。而除数据外,fsync还会同步更新文件的属性。所以fsync有两次IO操作,而fdatasync只有一次。
二、fflush
1.提供者fflush是libc.a中提供的方法,fsync是系统提供的系统调用。原形fflush接受一个参数FILE *.fflush(FILE *);fsync接受的时一个Int型的文件描述符。fsync(int fd);
3.功能fflush:是把C库中的缓冲调用write函数写到磁盘[其实是写到内核的缓冲区]。fsync:是把内核缓冲刷到磁盘上。
c库缓冲-----fflush---------〉内核缓冲--------fsync-----〉磁盘
Note that fflush() only flushes the user space buffers provided by the C library. To ensure that the data is physically stored on disk the kernel buffers must be flushed too.
此时还需要用到fsync 或者sync函数。
三、总结
IO缓冲层次关系
sync,是同步整个系统的磁盘数据的.
fsync是同步打开的一个文件到缓冲区数据到磁盘上.
fflush是刷新打开的流的.
sync 将缓冲区数据写回磁盘,保持同步.(无参数)
fsync 将缓冲区的数据写到文件中.(有一个参数 int fd)
fflush 将文件流里未写出的数据立刻写出.
参考:
linux 同步IO: sync、fsync与fdatasync, 以及在日志文件中如何使用
https://blog.csdn.net/cywosp/article/details/8767327
文件IO - O_DIRECT和O_SYNC详解
https://www.cnblogs.com/suzhou/p/5381738.html
扩展阅读:
聊聊Linux IO(中)——Linux内核中的IO栈