Linux:进程间通信的五种方式(IPC)(管道、FIFO、共享内存、信号卷、消息队列)
进程间通信(IPC)的五种方式(管道、FIFO、共享内存、信号量、消息队列)
进程间通信(IPC,InterProcess Communication)是指在不同进程之间传播或交换信息。
进程间通信的本质:
让两个不同的进程看到同一份资源(该资源通常由操作系统直接或间接提供)
进程间通信目的:
- 数据传输 : 一个进程需要将它的数据发送给另一个进程
- 资源共享 : 多个进程之间共享有同样的资源
- 通知事件 :一个进程需要向另一个或一组进程发送消息,通知它(它们)发生了某种事件(如:进程终止时要通知父进程)
- 进程控制 : 有些进程希望完全控制另一个进程的运行(如:Debug进程),此时控制进程希望能够拦截另一个进程的所有陷入和异常,并能够及时知道它的状态改变。
IPC的分类:
管道
- 匿名管道
- 命名管道
System V IPC
- System V 消息队列
- System V 共享存储
- System V 信号量
POSIX IPC
- 消息队列
- 共享内存
- 信号量
- 互斥量
- 条件变量
- 读写锁
其他概念引入
- 临界资源 : 多道程序系统中存在许多进程,它们共享各种资源,然而有很多资源一次只能供一个进程使用。一次仅允许 一 个进程使用的资源称为临界资源。许多物理设备都属于临界资源,如输入机、打印机、磁带机等。
- 临界区 : 每个进程中访问临界资源的那段代码称为临界区。
- 互斥 : 任何一个时刻,只允许有一个进程进入临界资源进行资源访问,在其资源访问期间其他进程不得访问。
- 同步 : 在保证安全的前提条件下,进程按照特定的顺序访问临界资源
- 原子性 : 指一个操作是不可中断的,要么执行成功要么执行失败,不会有第三态。
一、管道
管道,一般指匿名管道,是 UNIX 系统中 IPC最古老的形式。
通常把从一个进程链接到另一个进程的一个数据流成为一个“管道”。
特点
- 管道是一种特殊的文件,对于它的读写可以使用普通的read、write 等函数。但是它不同于普通文件,它不属于其他任何文件系统,且只存在于内存中。
- 管道是半双工的,只允许单向通信(即数据只能向一个方向上流动),具有固定的读端和写端;需要双方通信时,需要建立起两个管道
- 面向字节流
- 一般,内核会对管道操作进行同步与互斥(即管道自带互斥和同步机制)
- 进程退出,管道释放,所以管道的生命周期随通信双方的进程
匿名管道
- 只能用于具有亲缘关系的进程之间的通信,常用于父子进程或者兄弟、爷孙进程之间通信。
- 子进程继承父进程的文件描述符、数据、代码等。
- 子进程不可直接继承父进程的时间片,由父进程分配(时间片即CPU分配给各个程序的时间,每个线程被分配一个时间段,称作它的时间片,即该进程允许运行的时间,使各个程序从表面上看是同时进行的。)
原型
#include <unistd.h>
int pipe(int fd[2]);
功能:创建一个匿名管道
参数:fd—>文件描述符,其中fd[0]表示读端,fd[1]表示写端
返回值:若成功返回0,失败返回错误代码
建立一个管道时,会创建两个文件描述符,读端和写段,如下图:
用fork共享管道原理
若要数据流从父进程流向子进程,则关闭父进程的读端(fd[0])与子进程的写端(fd[1]);反之,则可以使数据流从子进程流向父进程。
#include<stdio.h>
#include<unistd.h>
int main()
{
int fd[2]; // 两个文件描述符
pid_t pid;
char buf[20];
if(pipe(fd) < 0) // 创建管道
printf("Create Pipe Error!\n");
if((pid = fork()) < 0) // 创建子进程
printf("Fork Error!\n");
else if(pid > 0) // 父进程
{
close(fd[0]); // 关闭读端
write(fd[1], "hello world\n", 12);
}
else
{
close(fd[1]); // 关闭写端
read(fd[0], buf, 20);
printf("%s", buf);
}
return 0;
}
二、FIFO
命名管道
- 不相关的进程之间交换数据,可以使用FIFO文件来做这项工作,常被称为命名管道
- 命名管道是一种特殊类型的文件
命名管道可以从命令行上创建,使用下面的命令:
$ mkfifo filename
命名管道也可以从程序里创建,相关函数为:
#include <sys/stat.h>
int mkfifo ( const char *filename, mode_t mode );
返回值:成功返回0,出错返回-1
创建命名管道:
int main ( int argc , char *argv[])
{
mkfifo ( "p2" , 0644 );
return 0 ;
}
匿名管道与命名管道的区别
- 匿名管道由 pipe 函数创建并打开
- 命名管道由 mkfifo 函数创建,打开用 open
- FIFO(命名管道)与 pipe(匿名管道)之间唯一的区别在于它们创建与打开的方式不同,一旦这些工作完成之后,就会有相同的语义。
例子:读取文件,写入命名管道
#include <unistd.h>
#include <stdlib.h>
#include <stdio.h>
#include <errno.h>
#include <string.h>
#define ERR_EXIT(m) \
do \
{ \
perror(m); \
exit(EXIT_FAILURE); \
} while(0)
int main(int argc, char *argv[])
{
mkfifo("tp", 0644);
int infd;
infd = open("abc", O_RDONLY);
if (infd == -1) ERR_EXIT("open");
int outfd;
outfd = open("tp", O_WRONLY);
if (outfd == -1) ERR_EXIT("open");
char buf[1024];
int n;
while ((n=read(infd, buf, 1024))>0)
{
write(outfd, buf, n);
}
close(infd);
close(outfd);
return 0;
}
三、共享内存
共享内存(Shared Memory),指两个或多个进程共享一个给定的存储区。
特点
- 共享内存是最快的一种 IPC,因为进程是直接对内存进行存取。(⼀旦这样的内存映射到共享它的进程的地址空间,这些进程间数据传递不再涉及到内核,换句话说是进程不再通过执⾏进⼊内核的系统调⽤来传递彼此的数据)
- 因为多个进程可以同时操作,所以需要进行同步。
- 信号量+共享内存通常结合在一起使用,信号量用来同步对共享内存的访问。
共享内存示意图:
共享内存函数
- shmget函数
原型
#include <sys/ipc.h>
#include <sys/shm.h>
int shmget(key_t key, size_t size, int shmflg);
功能:⽤来创建共享内存
参数 :
key—> 这个共享内存段名字
size—>共享内存⼤⼩
shmflg—>由九个权限标志构成,它们的⽤法和创建⽂件时使⽤的mode模式标志是⼀样的
(内部有 IPC_CREAT 和 IPC_EXCL :当两个参数共同使用时,返回正常,则会创建新的共享内存;返回失败,则已存在共享内存)
返回值:成功返回⼀个⾮负整数,即该共享内存段的标识码;失败返回-1
- shmat函数(挂接、映射)
原型
void *shmat(int shmid, const void *shmaddr, int shmflg);
功能:将共享内存段连接到进程地址空间
参数:
shmid—> 共享内存标识
shmaddr—>指定连接的地址
shmflg—>它的两个可能取值是SHM_RND和SHM_RDONLY
返回值(映射的地址):成功返回⼀个指针,指向共享内存第⼀个节;失败返回-1
-
注意:
shmaddr为NULL,核⼼⾃动选择⼀个地址
shmaddr不为NULL且shmflg⽆SHM_RND标记,则以shmaddr为连接地址。
shmaddr不为NULL且shmflg设置了SHM_RND标记,则连接的地址会⾃动向下调整为SHMLBA的整数倍。公式:s
hmaddr - (shmaddr % SHMLBA)
shmflg(权限)=SHM_RDONLY,表⽰连接操作⽤来只读共享内存 -
shmdt函数(取消关联)
原型
int shmdt(const void *shmaddr);
功能:将共享内存段与当前进程脱离
参数:
shmaddr—>由shmat所返回的指针
返回值:成功返回0;失败返回-1
注意:将共享内存段与当前进程脱离不等于删除共享内存段
- shmctl函数
原型
int shmctl(int shmid, int cmd, struct shmid_ds *buf);
功能:⽤于控制共享内存
参数:
shmid—>由shmget返回的共享内存标识码
cmd—>将要采取的动作(有三个可取值)
buf—>指向⼀个保存着共享内存的模式状态和访问权限的数据结构
返回值:成功返回0;失败返回-1
四、信号量
信号量主要用于同步和互斥
信号量结构体伪代码 : 本质上是一个具有原子特性的计数器,这一计数器用来描述临界资源当中资源的数目。
struct semaphore
{
int value;
pointer_PCB queue;
}
进程互斥
- 由于各进程要求共享资源,⽽且有些资源需要互斥使⽤,因此各进程间竞争使⽤这些资源,进程的这种关系为进程的互斥
- 系统中某些资源⼀次只允许⼀个进程使⽤,称这样的资源为临界资源或互斥资源。
- 在进程中涉及到互斥资源的程序段叫临界区
特性:
IPC资源必须删除,否则不会自动清除,除非重启,所以 System V IPC 资源的生命周期随内核。
信号量集函数
- semget函数
原型
int semget(key_t key, int nsems, int semflg);
功能 :⽤来创建和访问⼀个信号量集
参数 :
key—>信号集的名字
nsems—>信号集中信号量的个数
semflg—> 由九个权限标志构成,它们的⽤法和创建⽂件时使⽤的mode模式标志是⼀样的
返回值 :成功返回⼀个⾮负整数,即该信号集的标识码;失败返回-1
- shmctl函数
原型
int semctl(int semid, int semnum, int cmd, ...);
功能 :⽤于控制信号量集
参数:
semid—>由semget返回的信号集标识码
semnum—>信号集中信号量的序号
cmd—>将要采取的动作(有三个可取值)
最后⼀个参数根据命令不同⽽不同
返回值:成功返回0;失败返回-1
- semop函数
原型
int semop(int semid, struct sembuf *sops, unsigned nsops);
功能 :⽤来创建和访问⼀个信号量集
参数:
semid—>是该信号量的标识码,也就是semget函数的返回值
sops—>是个指向⼀个结构数值的指针
nsops—>信号量的个数
返回值 :成功返回0;失败返回-1
五、消息队列
- 消息队列提供了⼀个从⼀个进程向另外⼀个进程发送⼀块数据的⽅法
- 每个数据块都被认为是有⼀个类型,接收者进程接收的数据块可以有不同的类型值
- 消息队列也有管道⼀样的不⾜,就是每个消息的最⼤⻓度是有上限的(MSGMAX),每个消息队
列的总的字节数是有上限的(MSGMNB),系统上消息队列的总数也有⼀个上限(MSGMNI)
消息队列函数
- msgget函数
原型
int msgget(key_t key, int msgflg);
功能:⽤来创建和访问⼀个消息队列
参数
key—> 某个消息队列的名字
msgflg—>由九个权限标志构成,它们的⽤法和创建⽂件时使⽤的mode模式标志是⼀样的
返回值:成功返回⼀个⾮负整数,即该消息队列的标识码;失败返回-1
- msgctl函数
原型
int msgctl(int msqid, int cmd, struct msqid_ds *buf);
功能 :消息队列的控制函数
参数 :
msqid—>由msgget函数返回的消息队列标识码
cmd—>是将要采取的动作,(有三个可取值)
返回值 :成功返回0,失败返回-1
总结
接⼝
创建IPC(msgqueue, shm, sem), ipcget
删除IPC(msgqueue, shm, sem), ipcctl + IPC_RMID
每种IPC都有⾃⼰个性化的操作接⼝
命令
- ipcs : 显示IPC资源
ipcs - m 查看共享内存
ipcs - s 查看信号
ipcs - q 查看消息队列 - ipcrm : 手动删除IPC资源
ipcrm - m 查看共享内存
ipcrm - s 查看信号
ipcrm - q 查看消息队列
特性
IPC资源必须删除,否则不会⾃动清除,除⾮重启,所以system V IPC资源的⽣命周期随内核
推荐阅读
-
进程间通信的方式--信号、管道、消息队列、共享内存
-
windows下进程间通信的(13种方法)-摘 要 本文讨论了进程间通信与应用程序间通信的含义及相应的实现技术,并对这些技术的原理、特性等进行了深入的分析和比较。 ---- 关键词 信号 管道 消息队列 共享存储段 信号灯 远程过程调用 Socket套接字 MQSeries 1 引言 ---- 进程间通信的主要目的是实现同一计算机系统内部的相互协作的进程之间的数据共享与信息交换,由于这些进程处于同一软件和硬件环境下,利用操作系统提供的的编程接口,用户可以方便地在程序中实现这种通信;应用程序间通信的主要目的是实现不同计算机系统中的相互协作的应用程序之间的数据共享与信息交换,由于应用程序分别运行在不同计算机系统中,它们之间要通过网络之间的协议才能实现数据共享与信息交换。进程间通信和应用程序间通信及相应的实现技术有许多相同之处,也各有自己的特色。即使是同一类型的通信也有多种的实现方法,以适应不同情况的需要。 ---- 为了充分认识和掌握这两种通信及相应的实现技术,本文将就以下几个方面对这两种通信进行深入的讨论:问题的由来、解决问题的策略和方法、每种方法的工作原理和实现、每种实现方法的特点和适用的范围等。 2 进程间的通信及其实现技术 ---- 用户提交给计算机的任务最终都是通过一个个的进程来完成的。在一组并发进程中的任何两个进程之间,如果都不存在公共变量,则称该组进程为不相交的。在不相交的进程组中,每个进程都独立于其它进程,它的运行环境与顺序程序一样,而且它的运行环境也不为别的进程所改变。运行的结果是确定的,不会发生与时间相关的错误。 ---- 但是,在实际中,并发进程的各个进程之间并不是完全互相独立的,它们之间往往存在着相互制约的关系。进程之间的相互制约关系表现为两种方式: ---- (1) 间接相互制约:共享CPU ---- (2) 直接相互制约:竞争和协作 ---- 竞争——进程对共享资源的竞争。为保证进程互斥地访问共享资源,各进程必须互斥地进入各自的临界段。 ---- 协作——进程之间交换数据。为完成一个共同任务而同时运行的一组进程称为同组进程,它们之间必须交换数据,以达到协作完成任务的目的,交换数据可以通知对方可以做某事或者委托对方做某事。 ---- 共享CPU问题由操作系统的进程调度来实现,进程间的竞争和协作由进程间的通信来完成。进程间的通信一般由操作系统提供编程接口,由程序员在程序中实现。UNIX在这个方面可以说最具特色,它提供了一整套进程间的数据共享与信息交换的处理方法——进程通信机制(IPC)。因此,我们就以UNIX为例来分析进程间通信的各种实现技术。 ---- 在UNIX中,文件(File)、信号(Signal)、无名管道(Unnamed Pipes)、有名管道(FIFOs)是传统IPC功能;新的IPC功能包括消息队列(Message queues)、共享存储段(Shared memory segment)和信号灯(Semapores)。 ---- (1) 信号 ---- 信号机制是UNIX为进程中断处理而设置的。它只是一组预定义的值,因此不能用于信息交换,仅用于进程中断控制。例如在发生浮点错、非法内存访问、执行无效指令、某些按键(如ctrl-c、del等)等都会产生一个信号,操作系统就会调用有关的系统调用或用户定义的处理过程来处理。 ---- 信号处理的系统调用是signal,调用形式是: ---- signal(signalno,action) ---- 其中,signalno是规定信号编号的值,action指明当特定的信号发生时所执行的动作。 ---- (2) 无名管道和有名管道 ---- 无名管道实际上是内存中的一个临时存储区,它由系统安全控制,并且独立于创建它的进程的内存区。管道对数据采用先进先出方式管理,并严格按顺序操作,例如不能对管道进行搜索,管道中的信息只能读一次。 ---- 无名管道只能用于两个相互协作的进程之间的通信,并且访问无名管道的进程必须有共同的祖先。 ---- 系统提供了许多标准管道库函数,如: pipe——打开一个可以读写的管道; close——关闭相应的管道; read——从管道中读取字符; write——向管道中写入字符; ---- 有名管道的操作和无名管道类似,不同的地方在于使用有名管道的进程不需要具有共同的祖先,其它进程,只要知道该管道的名字,就可以访问它。管道非常适合进程之间快速交换信息。 ---- (3) 消息队列(MQ) ---- 消息队列是内存中独立于生成它的进程的一段存储区,一旦创建消息队列,任何进程,只要具有正确的的访问权限,都可以访问消息队列,消息队列非常适合于在进程间交换短信息。 ---- 消息队列的每条消息由类型编号来分类,这样接收进程可以选择读取特定的消息类型——这一点与管道不同。消息队列在创建后将一直存在,直到使用msgctl系统调用或iqcrm -q命令删除它为止。 ---- 系统提供了许多有关创建、使用和管理消息队列的系统调用,如: ---- int msgget(key,flag)——创建一个具有flag权限的MQ及其相应的结构,并返回一个唯一的正整数msqid(MQ的标识符); ---- int msgsnd(msqid,msgp,msgsz,msgtyp,flag)——向队列中发送信息; ---- int msgrcv(msqid,cmd,buf)——从队列中接收信息; ---- int msgctl(msqid,cmd,buf)——对MQ的控制操作; ---- (4) 共享存储段(SM) ---- 共享存储段是主存的一部分,它由一个或多个独立的进程共享。各进程的数据段与共享存储段相关联,对每个进程来说,共享存储段有不同的虚拟地址。系统提供的有关SM的系统调用有: ---- int shmget(key,size,flag)——创建大小为size的SM段,其相应的数据结构名为key,并返回共享内存区的标识符shmid; ---- char shmat(shmid,address,flag)——将当前进程数据段的地址赋给shmget所返回的名为shmid的SM段; ---- int shmdr(address)——从进程地址空间删除SM段; ---- int shmctl (shmid,cmd,buf)——对SM的控制操作; ---- SM的大小只受主存限制,SM段的访问及进程间的信息交换可以通过同步读写来完成。同步通常由信号灯来实现。SM非常适合进程之间大量数据的共享。 ---- (5) 信号灯 ---- 在UNIX中,信号灯是一组进程共享的数据结构,当几个进程竞争同一资源时(文件、共享内存或消息队列等),它们的操作便由信号灯来同步,以防止互相干扰。 ---- 信号灯保证了某一时刻只有一个进程访问某一临界资源,所有请求该资源的其它进程都将被挂起,一旦该资源得到释放,系统才允许其它进程访问该资源。信号灯通常配对使用,以便实现资源的加锁和解锁。 ---- 进程间通信的实现技术的特点是:操作系统提供实现机制和编程接口,由用户在程序中实现,保证进程间可以进行快速的信息交换和大量数据的共享。但是,上述方式主要适合在同一台计算机系统内部的进程之间的通信。 3 应用程序间的通信及其实现技术 ---- 同进程之间的相互制约一样,不同的应用程序之间也存在竞争和协作的关系。UNIX操作系统也提供一些可用于应用程序之间实现数据共享与信息交换的编程接口,程序员可以通过自己编程来实现。如远程过程调用和基于TCP/IP协议的套接字(Socket)编程。但是,相对普通程序员来说,它们涉及的技术比较深,编程也比较复杂,实现起来困难较大。 ---- 于是,一种新的技术应运而生——通过将有关通信的细节完全掩盖在某个独立软件内部,即底层的通讯工作和相应的维护管理工作由该软件内部来实现,用户只需要将通信任务提交给该软件去完成,而不必理会它的具体工作过程——这就是所谓的中间件技术。 ---- 我们在这里分别讨论这三种常用的应用程序间通信的实现技术——远程过程调用、会话编程技术和MQSeries消息队列技术。其中远程过程调用和会话编程属于比较低级的方式,程序员参与的程度较深,而MQSeries消息队列则属于比较高级的方式,即中间件方式,程序员参与的程度较浅。 ---- 4.1 远程过程调用(RPC)
-
Linux:进程间通信的五种方式(IPC)(管道、FIFO、共享内存、信号卷、消息队列)