最近想为系统添加一个统计脚本,但是系统内的模块是有perl和java两种语言编写,且模块是通过crontab定时调用的,所以需要使用IPC传输信息。

第一个想到的是socket方式,感觉需要统一设定一个端口,不是特别保险,并且全都在一台服务器上,用socket有些浪费,所以打算尝试一下linux的IPC功能。

 

1.FIFO. 接着想起FIFO,即有名管道。在linux中是一种特殊的文件,因为linux中所有事物都可以被视为文件,所以对FIFO的操作和对文件的操作方式是一样的。

可以使用mkfifo命令创建一个有名管道:

$ mkfifo fifo
$ ll fifo
prw-r--r-- 1 star star 0 Feb 14 15:42 fifo|

属性‘p’表示这个文件是个管道,最后的‘|’也是相同的意义。

先上perl代码:

读管道:
my $fifo = 'fifo';
# 和普通文件一样打开
open( my $fh, "<", $fifo) or die "open($fifo) failed: $!";
seek($fh,0,0);
while(1)
{
  while(my $line = readline($fh))
  {
    print "$line";
  }
}

。。。

写管道:
 my $fifo = 'fifo';
 open( my $fh, ">", $fifo) or die "open($fifo) failed: $!";print $fh "test fifo\n";

FIFO是一种先进先出的文件,没有seek等的操作,只能从开始读,写到末尾。与普通文件不同之处在于:

a) 如果当前是为读打开FIFO,则需要有其他进程为写打开FIFO,否则会阻塞(没有设置非阻塞标志)。

b) 如果是为写打开,则需要有其他进程为读打开。

也就是说,默认情况下,读和写至少都要有一个才能正常打开FIFO,如果想要不阻塞在打开操作上,可以使用O_NONBLOCK标志。参考自:http://blog.csdn.net/xiaobai1593/article/details/7402205

sysopen( my $fh, $fifo, O_WRONLY | O_NONBLOCK) or die "open($fifo) failed: $!";

后来没有使用FIFO,原因有两个:

a) java端虽然可以正常操作FIFO文件,但是java的打开文件操作没有O_NONBLOCK方式,如果另一方进程由于非正常原因退出了,那么java会一直阻塞在打开操作上。如果通过设置超时等方式处理,会比较繁琐。

b) 多次写入后,一次读取有可能读取不完整。

另外值得注意的是,对FIFO而言,当要写入的数据量不大于PIPE_BUF时,linux将保证写入的原子性。如果此时管道空闲缓冲区不足以容纳要写入的字节数,则进入睡眠,直到当缓冲区中能够容纳要写入的字节数时,才开始进行一次性写操作。 PIPE_BUF这个值是可以设置的,所以如果一次写入的数据很小,可以不用担心写写冲突的问题。如果是读的话,应该是只有一个读者才好。

 

2. shared memory

共享内存在linuxIPC中是性能最高的,因为别的方式需要先把数据复制到内核区,再复制到用户区,而共享内存全部在内存,不经过内核区。

并且,共享内存是可以设置IPC_PRIVATE方式的,提高独立性。

但是它的操作方式和文件类似,这就会有内容覆盖和需要制定位置的问题。也就是说,每次写入新的内容,很容易出错就覆盖掉老的内容,读的时候还得把读过内容删除掉,非常麻烦。

所以没有选择共享内存的方式。


3. Message Queue

最后比较下来,选用了消息队列的方式。

消息队列的好处:

1. 每个消息是相互独立的,数据是被包装成条消息,没有上面的内容覆盖问题。读取都是对消息的操作,比较方便。

2. 操作系统层面上会保证每个消息的完整,不会有写写冲突的存在。

消息队列需要注意的是:读写之间的配合,如果写入过多会导致消息队列到达容量上限,不能再写入;写入的数据不能过大,可以在 /etc/sysctl.conf中设置。http://www.cnblogs.com/samurail/archive/2012/11/14/2770379.html

perl可以直接创建一个消息队列,这点是java做不到的,java只能打开一个已经存在的消息队列。

所以如果想要perl和java之间通过消息队列交互,需要先用perl创建一个消息队列,再把这个消息队列的编号保存在一个文件中,java读取文件获得编号,打开mq进行操作。

perl创建代码如下(使用的是SysV标准):

use IPC::SysV qw(IPC_PRIVATE IPC_RMID IPC_CREAT S_IRUSR S_IWUSR IPC_NOWAIT);
use IPC::Msg;

$key = IPC::SysV::ftok($file,'a');
$msg =new IPC::Msg($key,0666|IPC_CREAT) or logAbort("create message queue:$!");

移除:

$msg->remove();

为了确保程序意外终止的情况下,不会有消息队列遗留,remove操作最好放在END{}代码区内。

读取:

# infinite loop to read messages from MQ
while (1) {
  $msg->rcv($buf,1024,$msgtype);
  if ($!) {
    killThread($thr);
    logAbort("read message queue failed: $!");
  }
  $q->enqueue($buf);
}

$msg->rcv在没有IPC_NOWAIT时会阻塞至有数据来,所以会新建一个线程专门读取mq数据。

写入:

$msg->snd($msgtype, $buf, IPC_NOWAIT) or logWarning("writing message to mq failed. $!");

其中读和写的$msgtype需要一致才行,最简单的就是都设为1。这里设置了IPC_NOWAIT,因为写操作不能阻塞,会影响正常程序运行。

http://perldoc.perl.org/perlipc.html#SysV-IPC 

 

java要操作消息队列有点繁琐,因为java本意是为了跨平台运行,而消息队列是操作系统相关的,所以如果想要操作mq,需要使用JNI。

需要使用的包是lajp-10.05,这是专门开发用来结合java和php优点的包,但是在目前,我们只需要使用其中的IPC部分。

另外,java的项目管理通常都是使用maven,而lajp并不在maven的几个主流仓库中,所以,要想在maven中纳入lajp包,需要做一些额外的工作,

比较方便的是使用maven把lajp包放入本地的maven仓库,这样可以随时使用:

mvn install:install-file -Dfile=./lajp-10.05/lajp-10.05.jar -DgroupId=lajp -DartifactId=lajp -Dversion=10.5 -Dpackaging=jar -DgeneratePom=true

成功之后,在pom里就可以和往常一样把lajp写入<dependency></dependency>中。在java代码中还得加入:

static {
        //JNI
        System.loadLibrary("lajpmsgq");
        });
    }

 

java操作mq:

import lajp.MsgQ;

Integer key;
// 打开
msqid = MsgQ.msgget(key);
//
// 1:和perl中$msgType一致 MsgQ.msgsnd(msqid, 1, str.getBytes(), str.getBytes().length);

这里的key即时前文中perl写在文件中的key。

 

4. 命令行查看和删除IPC

查看命令:

ipcs

删除命令:

ipcrm

可以指定删除某一个IPC对象

usage: ipcrm [ [-q msqid] [-m shmid] [-s semid]
          [-Q msgkey] [-M shmkey] [-S semkey] ... ]

 

ps:perl中,在使用了chdir之后,再使用abs_path,结果和预料的有时候会有偏差。。。

在操作IPC对象时,需要考虑如果进程突然终止或退出了的情况,这时候往往会在IPC对象中留下遗留数据(比如在统计时间时,需要写入结束标志才能统计一个任务的时间,而进程突然中止后,mq中收不到结束标志了,另一个统计进程会认为这个任务一直在运行)。这时候需要使用一些预防措施,如在java中使用

Runtime.getRuntime().addShutdownHook()

函数,在退出时,会由jvm执行,补上结束标志。

 

posted on 2017-05-10 14:44  SimbaStar  阅读(1060)  评论(0编辑  收藏  举报