系统编程--文件IO

1.文件描述符
　　文件描述符是一个非负整数，当打开一个现有文件或创建一个新文件时候，内核向进程返回一个文件描述符，新打开文件返回文件描述符表中未使用的最小文件描述符。Unix系统shell使用文件描述符0与进程的标准输入相关联，文件描述符1与进程的标准输出相关联，文件描述符2与进程的标准出错相关联，在POSIX标准中，幻数0、1、2应当替换为符号常量STDIN_FILENO、STDOUT_FILENO和STDERR_FILENO
Linux最大打开文件描述符数 cat /proc/sys/fs/file-max 或者 ulimit -n

 

2.open函数

调要open函数可以打开或创建一个文件。

函数原型

#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
int open(const char *pathname, int flags);
int open(const char *pathname, int flags, mode_t mode);

返回值：成功返回新分配的文件描述符，出错返回-1并设置errno

 

 pathname是需要打开的文件；

      oflag参数用来说明此函数的多个选项。用 O_RDONLY（只读）,O_WRONLY（只写）,O_REWR（读写）。这三个常量必须指定，有且只能指定一个，并且和下列多个常量进行或运算构成：

     O_APPEND        每次写时都追加到文件的尾端

      O_CREAT          若文件不存在则创建它，需要第三个参数为指定文件的访问权限

      O_EXCL            若同时指定O_CREAT，而文件存在则会出错，用此则可以测试文件是否存在，若不存在则创建这个文件

      O_TRUNC         如果此文件不存在，而且为只写或读写成功打开，则将其长度截短为0

      O_NOCTTY        若pathname指的是终端设备，则不将该设备分配为此进程的控制端

      O_NONBLOCK    非阻塞模式

      这些常量是可选择的

 

注意open函数与C标准I/O库的fopen函数有些细微的区别：

　　以可写的方式fopen一个文件时，如果文件不存在会自动创建，而open一个文件时必须明确指定O_CREAT才会创建文件，否则文件不存在就出错返回。以w或w+方式fopen一个文件时，如果文件已存在就截断为0字节，而open一个文件时必须明确指定O_TRUNC才会截断文件，否则直接在原来的数据上改写。第三个参数mode指定文件权限，可以用八进制数表示，比如0644表示-rw-r-r–，也可以用S_IRUSR、S_IWUSR等宏定义按位或起来表示，详见open(2)的Man Page。要注意的是，文件权限由open的mode参数和当前进程的umask掩码共同决定。

 

3.create函数

函数原型

#include <fcnt1.h>
int create(const char *pathname,mode_t mode);
此函数等效于
int open(pathname,O_WRONLY | O_CREAT | O_TRUNC,mode);

4.close函数

函数原型

#include<fcnt1.h>
int close (int filedes); //返回值若成功返回0不成功返回-1

5.lseek函数

可以用lseek显式地为一个打开的文件设置其偏移量。

函数原型

#include<unistd.h>
off_t lseek(int fileds,off_t offset,int whence); //若成功则返回新的文件偏移量，若出错则返回-1

 

参数whence可以置为下值

SEEK_SET,则将该文件的偏移量设置为距文件开始出offset个字节

SEEK_CUR,则将该文件的偏移量设置为其当前值加offset,offset可正可负

SEEK_END,则将该文件的偏移量设置为文件长度加offset,offset可正可负

 

若lseek成功执行，则返回新的文件偏移量，为此可以用下列方式确定打开文件的当前偏移量

off_t currpos; currpos = lseek(fd,0,SEEK_CUR);

这种方法也可以用来确定所涉及的文件是否可以设置偏移量，如果文件描述符引用的是一个管道、FIFO进而网络套接字，则lseek返回-1，并将errorn设置为ESPIPE。

 

注意：

1).lseek仅将当前的文件偏移量记录在内核中，它并不引起任何I/O操作

2).文件偏移量可以大于文件的当前长度，在这种情况下，对该文件下一次的写将加长该文件，并在文件构成一个空洞，这一点是允许的。位于文件中但没有写过的字节都被设为 0

3).文件中的空洞并不要求在磁盘上占用存储区。

 

6.read函数

从打开的文件中读数据到buf

#include <unistd.h>
ssize_t read(int filedes,void *buf,size_t nbytes);

返回值：若成功则返回读到的字节数，若已到文件结尾则返回0，若出错返回-1；

　　注意这个读写位置和使用C标准I/O库时的读写位置有可能不同，这个读写位置是记在内核中的，而使用C标准I/O库时的读写位置是用户空间I/O缓冲区中的位置。比如用fgetc读一个字节，fgetc有可能从内核中预读1024个字节到I/O缓冲区中，再返回第一个字节，这时该文件在内核中记录的读写位置是1024，而在FILE结构体中记录的读写位置是1。注意返回值类型是ssize_t，表示有符号的size_t，这样既可以返回正的字节数、0（表示到达文件末尾）也可以返回负值-1（表示出错）。read函数返回时，返回值说明了buf中前多少个字节是刚读上来的。有些情况下，实际读到的字节数（返回值）会小于求读的字节数

 

7.write函数

调用write函数向打开的文件写数据

#include <unistd.h>
ssize_t write(int filedes,const void *buf,size_t nbytes);

返回值：若成功则返回字节数,若出错返回-1

注：write出错的一个常见原因是：磁盘已写满，或者超过了一个给定进程的文件长度限制

 

阻塞和非阻塞

　　读常规文件是不会阻塞的，不管读多少字节，read一定会在有限的时间内返回。从终端设备或网络读则不一定，如果从终端输入的数据没有换行符，调用read读终端设备就会阻塞，如果网络上没有接收到数据包，调用read从网络读就会阻塞，至于会阻塞多长时间也是不确定的，如果一直没有数据到达就一直阻塞在那里。同样，写常规文件是不会阻塞的，而向终端设备或网络写则不一定。

　　阻塞（Block）这个概念：当进程调用一个阻塞的系统函数时，该进程被置于睡眠（Sleep）状态，这时内核调度其它进程运行，直到该进程等待的事件发生了（比如网络上接收到数据包，或者调用sleep指定的睡眠时间到了）它才有可能继续运行。与睡眠状态相对的是运行（Running）状态，Linux内核中，处于运行状态的进程分为两种情况：

　　正在被调度执行。CPU处于该进程的上下文环境中，程序计数器（eip）里保存着该进程的指令地址，通用寄存器里保存着该进程运算过程的中间结果，正在执行该进程的指令，正在读写该进程的地址空间。

　　就绪状态。该进程不需要等待什么事件发生，随时都可以执行，但CPU暂时还在执行另一个进程，所以该进程在一个就绪队列中等待被内核调度。系统中可能同时有多个就绪的进程，那么该调度谁执行呢？内核的调度算法是基于优先级和时间片的，而且会根据每个进程的运行情况动态调整它的优先级和时间片，让每个进程都能比较公平地得到机会执行，同时要兼顾用户体验，不能让和用户交互的进程响应太慢。

 

阻塞读终端

#include <unistd.h>
#include <stdlib.h>
int main(void)
{
    char buf[10];
    int n;
    n = read(STDIN_FILENO, buf, 10);
    if (n < 0) {
        perror("read STDIN_FILENO");
        exit(1);
    }
    write(STDOUT_FILENO, buf, n);
    return 0;
}        

 

非阻塞读

#include <unistd.h>
#include <fcntl.h>
#include <errno.h>
#include <string.h>
#include <stdlib.h>
#define MSG_TRY "try again\n"
int main(void)
{
    char buf[10];
    int fd, n;
    fd = open("/dev/tty", O_RDONLY|O_NONBLOCK);
    if(fd<0) {
        perror("open /dev/tty");
        exit(1);
    }
tryagain:
    n = read(fd, buf, 10);
    if (n < 0) {
        if (errno == EAGAIN) {
        sleep(1);
        write(STDOUT_FILENO, MSG_TRY, strlen(MSG_TRY));
        goto tryagain;
    }
    perror("read /dev/tty");
    exit(1);
}
    write(STDOUT_FILENO, buf, n);
    close(fd);
    return 0;
}        

 

8.dup和dup2函数

这两个函数都用来复制一个现存的文件描述符

#include <unistd.h>
int dup(int filedes);
int dup2(int filedes,int filedes2);
//filedes2参数指定新描述符的数值。如果filedes2已经打开，则先关闭。

返回值：若成功返回新的文件描述符，若出错则返回-1

dup(filedes);等效于fcntl(filedes, F_DUPFD, 0);
dup2(filedes, filedes2);等效于
close(filedes2);
fcntl(filedes, F_DUPFD, filedes2);

区别
1).dup2是一个原子操作，而close及fcntl则包括两个函数调用，有可能在close和fcntl之间插入执行信号捕获函数
2).dup2和fcntl有某些不同errorno

 

9.sync,fsync ,fdatasync函数
为了解决延迟写的问题，保证磁盘上实际文件系统和缓冲区高速缓存中内容的一致性。

#include <unistd.h>
int fsync(int filedes); // 只对由文件描述符filedes指定的单一文件其作用，并且等待写磁盘操作结束
int fdatesync(int filedes); //功能和fsync差不多，但它还同步更新文件的属性
void sync(void); //将所有修改过的快缓冲区排入写队列，然后返回，它并不等待实际写磁盘操作结束

10.fcntl函数

可以改变已打开的文件性质

#include <unistd.h>
#include <fcntl.h>
int fcntl(int fd, int cmd);
int fcntl(int fd, int cmd, long arg);
int fcntl(int fd, int cmd, struct flock *lock);

第三个参数总是一个整数，与上面所示函数原型中的注释部分相对应。但是在作为记录锁用时，第三个参数则是指向一个结构的指针。
fcntl函数有5种功能：
1).复制一个现有的描述符（cmd=F_DUPFD）.
2).获得／设置文件描述符标记(cmd=F_GETFD或F_SETFD).
3).获得／设置文件状态标记(cmd=F_GETFL或F_SETFL).
4).获得／设置异步I/O所有权(cmd=F_GETOWN或F_SETOWN).
5).获得／设置记录锁(cmd=F_GETLK,F_SETLK或F_SETLKW).

#include <unistd.h>
#include <fcntl.h>
#include <errno.h>
#include <string.h>
#include <stdlib.h>
#define MSG_TRY "try again\n"
int main(void)
{
    char buf[10];
    int n;
    int flags;
    flags = fcntl(STDIN_FILENO, F_GETFL);
    flags |= O_NONBLOCK;
    if (fcntl(STDIN_FILENO, F_SETFL, flags) == -1) {
        perror("fcntl");
        exit(1);
    }
tryagain:
    n = read(STDIN_FILENO, buf, 10);
    if (n < 0) {
        if (errno == EAGAIN) {
        sleep(1);
        write(STDOUT_FILENO, MSG_TRY, strlen(MSG_TRY));
        goto tryagain;
    }
       perror("read stdin");
        exit(1);
    }
      write(STDOUT_FILENO, buf, n);
    return 0;
}    

11.ioctl函数
　　ioctl用于向设备发控制和配置命令，有些命令也需要读写一些数据，但这些数据是不能用read/write读写的，称为Out-of-band数据。也就是说，read/write读写的数据是in-band数据，是I/O操作的主体，而ioctl命令传送的是控制信息，其中的数据是辅助的数据。例如，在串口线上收发数据通过read/write操作，而串口的波特率、校验位、停止位通过ioctl设置，A/D转换的结果通过read读取，而A/D转换的精度和工作频率通过ioctl设置。

#include <unistd.h> /*System V*/
#include <sys/ioctl.h> /*BSD and Linux*/
#include <stropts.h> /*XSI STREAMS*/
int ioctl(int filedes, int request, . . .);

以下程序使用TIOCGWINSZ命令获得终端设备的窗口大小。

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/ioctl.h>
int main(void)
{
    struct winsize size;
    if (isatty(STDOUT_FILENO) == 0)
        exit(1);
        if(ioctl(STDOUT_FILENO, TIOCGWINSZ, &size)<0) {
        perror("ioctl TIOCGWINSZ error");
        exit(1);
    }
    printf("%d rows, %d columns\n", size.ws_row, size.ws_col);
    return 0;
}

 

12./dev/fd
比较新的unix/linux系统都提供名为/dev/fd的目录，其中有文件0、1、2等文件，打开这些文件，相当于复制这些文件描述符
fd=open("/dev/fd/0",mode);
等价于
fd=dup(0);
文件描述符fd和0将共享一个文件表记录项。

13.文件共享
文件共享是指不同进程间打开文件的共享。内核通过三种数据结构来表示打开的文件，
1).每个进程有个进程表项，表中是打开文件的描述符向量。每个向量包含了文件描述符标记和一个指向文件表项的指针；
2).内核为所有打开的文件维护一个文件表，每个文件表项包括了a，文件状态标记，如读、写、添加、非阻塞等b，当前的文件偏移量c，指向文件v-node表项的指针；
3).每个打开文件或设备都有一个v-node结构 ，包含文件类型和指向操作文件的函数的指针。

当两个以上独立进程打开同一个文件实现文件共享时，内核维护不同的文件表项，就是两个以上进程表项中的文件表项指针指向不同的文件表项，而不同的文件表项中的v-node指针指向同一个v-node而实现文件共享。由于每个进程有自己的打开文件表项，所以有自己的文件打开状态以及文件偏移量。

需要注意的是Linux没有将相关数据分为i节点和v节点，而是采用了一个独立于文件系统的i节点(通用i-node结构)和一个依赖于文件系统的i节点