Linux进程通信 - 无名管道与有名管道

无名管道(PIPE)和有名管道(FIFO)都是UNIX进程间通信(InterProcess Communication,简称IPC)的手段。

无名管道PIPE

管道特点

管道通常指无名管道,是IPC最古老的形式。管道有何特点?

  1. 半双工通信,具有固定的读端、写端(单向传输数据);
  2. 管道只能在具有公共祖先的2个进程间使用,通常是父子进程;

管道的创建

管道由pipe函数创建,见pipe(2) — Linux manual page

#include <unistd.h>
/* fd返回2个文件描述符:fd[0]为读而打开;fd[1]为写而打开。fd[1]的输出是fd[0]的输入 */
int pipe(int fd[2]);

/* 提供位元选项可设置。flags=0时,pipe2同pipe。
 * 常用选项:O_NONBLOCK
 */
int pipe2(int fd[2], int flags);

通过fd[0]调用read()读取数据的一端,叫读端;通过fd[1]调用write()写数据的一端进程,叫写端。

通常的创建模型:

int pipefd[2];
ret = pipe(pipefd);
fork();

管道的状态

管道用于进程间通信,也可以用于同一个进程多线程通信。
1)多进程:要实现父子进程的通信,创建管道后,需要关闭一个读端,一个写端。比如一个从父进程到子进程的管道,父进程关闭fd[0],子进程关闭fd[1]。
2)多线程:同一进程内的通信,使用全局变量即可。原理同多进程场景,需要设置一个读端、一个写端。

单进程半双工管道(无意义状态)

fork子进程后的半双工管道(创建后的初始状态)

父进程到子进程的管道(理想状态)

管道的使用规则

当管道的一端被关闭后,下面的规则起作用:

  1. 读端和写端都可以对应多个进程,但通常一个管道只有一个读进程和一个写进程;
  2. 当读一个写端已关闭的管道时,在所有数据都被读取后,read返回0,表示文件结束(只要还有一个写端还有进程,就不会产生文件的结束);
  3. 如果写一个读端已关闭的管道,会产生信号SIGPIPE。如果忽略该信号,或者捕捉该信号从并从其处理程序返回,则write返回-1,errnor=EPIPE。

查看打开的管道文件

管道是文件的一种,/proc/PID/fd(这里PID是打开管道的进程id)下可以查看进程打开的管道文件:

$ ll /proc/2889/fd
...

管道的内存区域大小

管道内部传输的是字节流,同TCP字节流的概念。应用层程序能往TCP写入多少byte数据,取决于接收方通告的接收窗口大小和本端的拥塞窗口大小(取2者小值)。
而管道,有一个容量限制,write写管道时,最多能写的字节数 <= PIPE_BUF (内核的管道缓冲区大小)。多个进程同时写一个管道,可能造成写的字节数超过PIPE_BUF,所写数据可能会与其他进程所写数据相互交叉。
调用fcntl,pathconf或fpathconf函数,可确定PIPE_BUF的值。

    int fds[2];
    pipe(fds);
    int fd = fds[1];

    // 获取管道大小
    int pipe_capacity = fcntl(fd, F_GETPIPE_SZ);
    printf("old pipe_capacity = %d\n", pipe_capacity);
    // 设置管道的大小
    int size = 1000;
    int ret = fcntl(fd, F_SETPIPE_SZ, size);
    pipe_capacity = fcntl(fd, F_GETPIPE_SZ);
    printf("new pipe_capacity = %d\n", pipe_capacity);

注意:fcntl + F_SETPIPE_SZ 可以设置管道大小到位于 系统page size和"/proc/sys/fs/pipe-max-size"之间的任意值,但并不会精确地等于,而是会对page size取整。

管道内存区域的大小必须在页面大小(PAGE)和上限值之间。上限值记录在/proc/sys/fs/pipe-max-size,特权用户可修改该上限值

$ cat /proc/sys/fs/pipe-max-size
1048576

示例

创建父进程到子进程的管道,父进程通过管道向子进程传送数据。

#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <string.h>
#include <sys/wait.h>

#define MAXLINE    80
int main() {
    pid_t pid ;
    int fd[2];
    char buf[MAXLINE];

    int ret = pipe(fd);
    if (ret < 0) {
        perror("pipe error\n");
        exit(1);
    }

    pid = fork();
    if (pid < 0) {
        perror("fork error");
        exit(1);
    }
    else if (pid == 0) { // child
        close(fd[1]);
        
        int n = read(fd[0], buf, MAXLINE);
        write(STDOUT_FILENO, buf, n);
    }
    else { // parent
        close(fd[0]);

        char *s = "hello world\n";
        write(fd[1], s, strlen(s));

        waitpid(pid, NULL, 0);
        exit(0);
    }

    return 0;
}

有名管道FIFO

有名管道特点

有名管道也叫命名管道,可以解决无名管道只能适用于两个有共同祖先的进程的问题,即使两个不相关的进程也能通过FIFO交换数据。有名管道是一种文件类型,存在于文件系统中,通过stat结构的st_mode成员的编码
有名管道和无名管道本质是一样的,最大的区别是:有名管道有关联的实体文件,而无名管道没有。正因为有关联实体文件,没有亲缘关系的任意两个进程之间,可以通过有名管道进行通信。

创建FIFO文件

使用有名管道前,需要创建FIFO文件,调用mkfifo(C程序)或mkfifo命令(shell环境)

#include <sys/types.h>
#include <sys/stat.h>

/* 创建fifo文件
 * pathname 指定文件名(路径)
 * mode 类似于open,指定FIFO文件的读写执行权利
 */
int mkfifo(const char *pathname, mode_t mode);

第二个参数指定FIFO文件读写执行权利,但真实的权限还需要按当前进程umask掩码得到:

real_mode = (mode & ~umask);  // 当前进程的umask掩码,可调用umask()获取

打开FIFO文件

通过调用open打开文件,close关闭文件。
不能以O_RDWR(读、写)模式打开FIFO文件,O_RDWR模式打开FIFO文件行为未定义。
使用FIFO文件的方法是:一个进程以只读模式(O_RDONLY)打开FIFO文件,另一个进程以只写模式(O_WRONLY)打开FIFO文件。负责写入FIFO的进程的写入内容,就可以被负责读出FIFO的进程读取到,从而实现通信的目的。

O_NONBLOCK
没有指定O_NONBLOCK模式时,以O_RDONLY只读打开FIFO文件不能返回(处于阻塞状态),等写打开;同样以O_WRONLY只写打开FIFO文件也不能返回,等读打开。O_RDONLY和O_WRONLY请求同时达到FIFO文件时,两个进程的打开请求就都能返回了。
如果指定了O_NONBLOCK,读打开请求在没有写进程的时候,可以成功返回;但是没有读进程的写打开请求,返回-1(失败),errno = ENXIO。
原因:FIFO只有读取端,没有写入端,没有明显的危害,尝试读取FIFO数据的操作不会返回任何数据。相反,如果允许只存在写入端不存在读取端,那么open之后,所有向FIFO文件的写入操作,都会导致产生SIGPIPE信号,以及调用write返回EPIPE的错误。因此,在源头上堵住(open返回失败)该问题反而合理。

添加O_NONBLOCK选项标志
对于无名管道,可以通过pipe2(fd, O_NONBLOCK);来指定O_NONBLOCK选项。
如果忘记为FIFO文件设置O_NONBLOCK标志位,可以通过fcntl:

// 添加O_NONBLOCK标志位
int flags = fcntl(fd, F_GETFL);
flags |= O_NONBLOCK;
fcntl(fd, F_SETFL, flags);

// 清除O_NONBLOCK标志位
int flags = fcntl(fd, F_GETFL);
flags &= ~O_NONBLOCK;
fcntl(fd, F_SETFL, flags);

读写FIFO文件

同普通文件操作,通过调用read读文件,write写文件。
写文件的数据量不能超过PIPE_BUF个字节(limits.h),否则不能保证是原子的(内容连续)。多个进程同时写入,写入的内容也不会被其他进程写入内容打断。
PIPE_BUF最少512byte,对Linux是4096(一个页面大小)。

如何确认一个fd是PIPE还是FIFO?

对于一个fd或文件,如何确认是PIPE,还是FIFO?
可以使用S_ISFIFO,测试fd对应fstat结构的st_mode成员。如果结果为true,则被测fd是FIFO;如果false,则是PIPE。
如果是文件(路径),可以用stat()/lstat(),从而获取文件对应stat结构对象信息。

int fds[2];
if (pipe(fds) < 0) {
    perror("pipe error");
    exit(-1);
}

pid_t pid = fork();
if (pid < 0) { // error
    perror("fork error");
    exit(-1);
}
else if (pid == 0) { // parent
    ::close(fd[1]); // close write port

} else { // child
    ::close(fd[0]); // close read port

    struct stat st;
    fstat(fd[1], &st);
    if (S_ISFIFO(st.st_mode)) { // test if FIFO

    }
}

全双工管道socketpair

socketpair() 创建一对匿名的、相互连接的全双工套接字。
单个Unix Domain Socket IPC,参见之前这篇文章Linux 系统编程学习笔记 - socket编程

#include <sys/types.h>          /* See NOTES */
#include <sys/socket.h>

int socketpair(int domain, int type, int protocol, int sv[2]);

成功返回0;失败返回-1,errno被设置。

特点

1)这对套接字用于全双工通信,每个套接字都可以读写,不分读端还是写端,应用可以根据需要自行决定。
2)两个套接字没有命名,不涉及隐式bind调用,因此创建过程相比较socket()创建的Unix Domain Socket要简洁很多。
3)如果王其中一个套接字如fds[0]写入后,再从该套接字读取会阻塞,只能从另一个配对套接字fds[1]读取。
4)读写操作可位于同一个进程,也可以位于不同进程。因为是匿名的,因此,如果是不同进程,则要求是亲缘进程(如父子进程)。

示例:socketpair创建一对套接字,用于父子进程通信

int fds[2];
int ret = socketpair(AF_LOCAL, SOCK_STREAM, 0, fds);
if (ret < 0) {
    perror("socketpair error");
    exit(-1);
}
pid_t pid = fork();
if (pid < 0) {
    perror("fork error");
    exit(-1);
}
else if (pid == 0) { // child
    close(fds[1]); // close one port
    char buf[128];
    read(fds[0], buf, sizeof(buf));
    printf("Child read: %s\n", buf);
}
else { // parent
    close(fds[0]); // close one port
    char buf[128];
    snprintf(buf, sizeof(buf), "hello, I am parent process");
    write(fds[1], buf, strlen(buf));
    printf("Parent write: %s\n", buf);
}

参考

《APUE》
Linux进程间通信(一)之无名管道(PIPE)和有名管道(FIFO)
socketpair的用法和理解

posted @ 2021-04-12 20:17  明明1109  阅读(1787)  评论(0编辑  收藏  举报