EMIPLIB 简介

EMIPLIB 简介

EMIPLIB()http://research.edm.uhasselt.be/emiplib的全称是'EDM Media over IP libray' 。EDM是Hasselt University大学的Expertise Centre for Digital Media  ，这个库就是这里开发的。

 这个库能做什么呢？官方是这么描述的（版本0.14.0）：

·       Soundcard input (using OSS, WinMM and Jack)

·       Soundcard output (using OSS, ALSA, ESD, WinMM, Jack and SDL)

·       WAV file input (using libsndfile, libaudiofile or a simple internal WAV reader)

·       WAV file output (using libsndfile or a simple internal WAV writer (8 bit, mono))

·       Webcam input (using Video4Linux and DirectShow)

·       Speex compression

·       U-law audio encoding

·       H.263+ compression (using libavcodec)

·       Mixing of incoming audio streams

·       Synchronization of RTP streams based on RTCP information

·       3D sound effects using HRIR/HRTF data from the LISTEN project

·       Easy to use voice over IP (VoIP) and video over IP sessions

 基本上这个库的目的就是要完成一个多媒体的网络传输库，方便多种媒体在网络上进行传输。从上面可以看到，它提供了从底层的数据采集、编码解码、传输等功能。当然，它不是独立的，比如，我是在window下做一个开发，对于音频它使用了winmm.lib库，对于视频使用了Dshow以及QT for windows。 另外，它也依赖于下面两个库：jrtplib以及jthread。比较详细的可以到官方网站找到参考。http://research.edm.uhasselt.be/emiplib/documentation/index.html

 下面我们就针对windows平台下展开吧，因为我的EMIPLIB经验基本上是在windows平台地...

 第一步：编译库(最基本编译)

 先说说我的平台及环境：windows xp sp2 , vc8(第一次使用这个新的IDE，因为这个lib只提供了VC8的项目文件，时间原因我没办法尝试mingw及vc6等)。

 可以到下面地址下载到源代码：

EMIPLIB   http://research.edm.uhasselt.be/emiplib/emiplib-0.14.0.zip

JTHREAD  http://research.edm.uhasselt.be/jori/jthread/jthread-1.2.1.zip      

JRTPLIB   http://research.edm.uhasselt.be/jori/jrtplib/jrtplib-3.7.0.zip

 下载完以后，开始编译JTHREAD，用vc8打开源代码中的sln文件，在项目设置中C++项目下代码生成中选择多线程调试（/Mtd）。以同样方法编译JRTPLIB。

这两个库使用vc6和vc8都可以很轻松的编译，需要注意的是生成静态库时候要统一代码生成中的选项，我这里使用了/Mtd。完成后，在你的debug或者release目录线面会有这两个库：JRTPLIB.LIB JTHREAD.lib。如果编译这两个库的时候有问题，可以给我mail，或者直接去mail到作者那里，之前我也问过他一些问题，他是个不错的人。

 然后我们需要来编译最大个的EMIPLIB库了，在EMIPLIB的源代码目录有README文件，上面有在windows下编译此库的参考。比较麻烦的问题是对于视频，我们可能需要添加QT支持（这可能需要我们在windows下先安装好QT，并自己手动完成一些文件）。对于最基本的编译我们先不去管它。上面的README文件中也说明了，在源代码目录的src\core\目录下面有一个配置文件mipconfig_win.h，我们可以在编译前进行一些选择，来得到更多功能支持的库。不过现在我们只使用默认的，只有speex支持被添加了。

 用vc8打开sln文件吧，要正确的进行编译，我们最好先把上面需要的两个库，以及一些头文件放在一个合适的地方，让IDE可以找到它们。这需要你设置vc的目录（在工具--选项里面）添加include目录及lib目录。然后也在项目设置中设定多线程调试（/Mtd），现在应该可以编译EMIPLIB了。（PS：我们可能需要安装Dshow，新的版本MS 已经把它从DxSDK中踢出来鸟，放到了PlatFormSDK 中）。

 最基本的编译应该不会花去我们太多时间。让我们先尝尝鲜，看看怎么用这个库。

 第二步：hello world

 在EMIPLIB源代码目录里面有一个examples目录，里面给了几个例子。我们找一个功能比较全的叫做feedbackexample.cpp，来看看怎么使用这个库：

我们省略了其中一些代码，只贴出来比较重要的。

 /* 这个demo它打开一个叫做soundfile.wav的文件，并对其进行采样、uLaw编码、RTP编码然后设定好RTP的目的地（这里它发送给了自己），再经过RTP解码、uLAW解码、采样编码，发给声卡让它播放出来。 */

 

 MIPTime interval(0.020);                                        //设定间隔为20ms
 MIPAverageTimer timer(interval);                             //设定计时器         
 MIPWAVInput sndFileInput;                                    //声音文件输入
 MIPSamplingRateConverter sampConv, sampConv2;    //采样转换
 MIPSampleEncoder sampEnc, sampEnc2, sampEnc3;   //采样编码
 MIPULawEncoder uLawEnc;                                    //uLaw编码
 MIPRTPULawEncoder rtpEnc;                                  //rtp编码
 MIPRTPComponent rtpComp;                                  //rtp组建  
 MIPRTPDecoder rtpDec;                                        //rtp解码
 MIPRTPULawDecoder rtpULawDec;                          //rtp ulaw解码
 MIPULawDecoder uLawDec;                                   //uLaw解码                                  
 MIPAudioMixer mixer;                                            //混音
 MIPWinMMOutput sndCardOutput;                           //声卡输出
 MyChain chain("Sound file player");                         //链：用来把上面组建串起来的对象。 
 RTPSession rtpSession;                                         //RTP会话，来自jrtplib 
 bool returnValue;                                                 //返回值  

  int samplingRate = 8000;                                      //采样率默认为8kHz 
 int numChannels = 1;                                            //声道设置默认为单声道

 

 //打开一个wav文件。

 returnValue = sndFileInput.open("soundfile.wav", interval);

//初始化采样转换，设置了采样率以及声道            

 returnValue = sampConv.init(samplingRate, numChannels);

//初始化采样编码，参数用于设定音频数据在计算机中的保存形式
 returnValue = sampEnc.init(MIPRAWAUDIOMESSAGE_TYPE_S16);

//初始化ulaw编码
 returnValue = uLawEnc.init();

//初始化rtp编码，这个组建可以创建发送到RTP组件的RTP消息。 

returnValue = rtpEnc.init();

//初始化RTPSession，需要设置包括端口采样率等等与传输有关的参数
 RTPUDPv4TransmissionParams transmissionParams;
 RTPSessionParams sessionParams;
 int portBase = 60000;
 int status;

 transmissionParams.SetPortbase(portBase);
 sessionParams.SetOwnTimestampUnit(1.0/((double)samplingRate));
 sessionParams.SetMaximumPacketSize(64000);
 sessionParams.SetAcceptOwnPackets(true);
 //建立一个RTPSession
 status = rtpSession.Create(sessionParams,&transmissionParams);

 // 添加一个目的地，RTPSession将往此目的发送RTP数据。这里我们发送给自己。
 status = rtpSession.AddDestination(RTPIPv4Address(ntohl(inet_addr("127.0.0.1")),portBase));

 //初始化RTP组件，使用我们刚才定义的RTPSession为参数
 returnValue = rtpComp.init(&rtpSession);
 //初始化RTP解码器
 returnValue = rtpDec.init(true, 0, &rtpSession);
 //设置RTP解码器使用ulaw规则

 returnValue = rtpDec.setPacketDecoder(0,&rtpULawDec);
 // 初始化ulaw解码，转换被U-law 解码的采样数据为线性解码采样
 returnValue = uLawDec.init();

 // 初始化采样编码，转换接受到的音频数据为浮点数形式存储

 returnValue = sampEnc2.init(MIPRAWAUDIOMESSAGE_TYPE_FLOAT);

 //初始化采样转换,设置参数采样率及声道
 returnValue = sampConv2.init(samplingRate, numChannels);
//初始化混音

 returnValue = mixer.init(samplingRate, numChannels, interval);
//初始化声卡输出
 returnValue = sndCardOutput.open(samplingRate, numChannels, interval);
//声卡输出使用的数据形式

 returnValue = sampEnc3.init(MIPRAWAUDIOMESSAGE_TYPE_S16LE);

 // 建立整个链：看看这个顺序，这是整个程序工作的逻辑
 returnValue = chain.setChainStart(&timer);

 returnValue = chain.addConnection(&timer, &sndFileInput);

 returnValue = chain.addConnection(&sndFileInput, &sampConv);

 returnValue = chain.addConnection(&sampConv, &sampEnc);

 returnValue = chain.addConnection(&sampEnc, &uLawEnc);
 returnValue = chain.addConnection(&uLawEnc, &rtpEnc);

 returnValue = chain.addConnection(&rtpEnc, &rtpComp);
 returnValue = chain.addConnection(&rtpComp, &rtpDec);

 returnValue = chain.addConnection(&rtpDec, &uLawDec, true);

 returnValue = chain.addConnection(&uLawDec, &sampEnc2, true);
 returnValue = chain.addConnection(&sampEnc2, &sampConv2, true);

returnValue = chain.addConnection(&sampConv2, &mixer, true);

 returnValue = chain.addConnection(&mixer, &sampEnc3);

 returnValue = chain.addConnection(&sampEnc3, &sndCardOutput);
 
 //启动这个链

 returnValue = chain.start();

 //这里添加等待停止的代码

 //停止 

 returnValue = chain.stop();

 rtpSession.Destroy();

 

要想运行这个程序，需要我们的编译器可以找到jrtplib.lib,jrtplib.lib,emiplib.lib 以及 这些lib导出符号需要的一些.H文件。比较好的方法是，把它们分别放到相应目录中，在vc目录中设置。另外，还需要在lib中添加 ws2_32.lib, winmm.lib 。运行时库选项统一为"/MTd" 。其它的问题，可能还需要你在忽略库列表中把一些冲突的库加上,比如libc.lib、libcmt.lib、msvcrt.lib、libcd.lib、msvcrtd.lib ...

 源代码中没有给你提供上面所说的那个wav文件，你需要自己找一个。

 能听到那个XXX.wav的声音了，大功告成。 

 第三步：一些介绍

 我们来大体了解一下EMIPLIB，以及怎么使用它。

为了提供一个灵活性比较好的框架，此库德目的是建立一些列相关的小组件，每个组件提供一些特定的工作，如音频取样，写音频到文件或者传输音频包等等。这些组件可以放置到一个chain(链)中，在这个链上，这些组件可以相互通信。这样，（按照需求）通过连接这些组件到一条链上，可以建立复杂的引用程序。

 另外，EMIPLIB为了大家使用方便也提供了一些更高级的类，它们包装好了一些常用的功能，给我们更好的interface。比如上面hello world中的那一串的定义，初始化，貌似都差不多的chain，MIPAudioSession类都给我们包装好了。如果这些功能已经提供了足够的功能，使用它们就好了，如果你有特殊的要求，你也可以像上面例子一样，自己写那一堆组件，按照你的思路让他们工作。

 大部分可以放到MIPComponentChain上的组件都派生自MIPComponent类。我们需要作的工作就是从这些派生类里面选择合适的组件，把它们放在一个chain上面，它就可以开始工作了。即使不使用EMIPLIB提供给我们的包装类，这些工作也不会很繁琐。比较详细的描述，大家可以参考EMIPLIB主页上的Library core部分。

 第四步：一个语音会议的demo

 最后我们来做一个局域网的语音会议的demo，也算做个入门结业。

 我们的语音会议的demo设计为这样：没有服务器，会议中每一方都可以listen来自局域网的声音，也可以往自己的列表中添加目标位置，向它(们)发送你的语音。

这样要完成一个三人的对话，我们需要三方都打开listen，并且添加另外两个人的地址，发送自己的声音。

我们开两个独立的线程，一个负责在端口12000接受来自局域网的声音，一个负责往发送列表中的目的地发送本地语音。

之前我们的例子中只是在本地做了一个wav文件的播放，我们需要解决另外几个问题：得到声卡输入、如何向目的地发送RTP、如何接收RTP。

第一个问题比较好解决，我们仿照例子中声卡播放使用的对象，找到了这个类：MIPWAVInput，把它放在某个chain的最开始处，我们就可以得到声音的输入了。

代码类似于下面：

 

 MIPWinMMInput sndCardInput;

 bool returnValue;

 int samplingRate = 8000;
 int numChannels = 1;
 returnValue=sndCardInput.open(samplingRate,numChannels,interval,buffertime,false);

 

在初始化chain时候：

 

chain.setChainStart(&sndCardInput); 

 

就可以了。

 

RTP的发送和接收主要是对于RTPsession的参数设置。接收端代码我们设置端口为监听端口，发送端SetPortbase(portBase)为发送端口，而在RTPSession::AddDestination函数中端口使用目的地的监听端口;

 

我们的发送语音的线程大致是这样的：

 

DWORD WINAPI WorkerThread(LPVOID lpParameter)
{
 IpAddrList *ipl=(IpAddrList*)lpParameter; //把目的列表传过来鸟

 WSADATA dat;
 WSAStartup(MAKEWORD(2,2),&dat);

 MIPTime interval(0.020); // We'll use 20 millisecond intervals.
 MIPTime buffertime(10);
 MIPAverageTimer timer(interval);
 MIPWAVInput sndFileInput;
 MIPSamplingRateConverter sampConv;
 MIPSampleEncoder sampEnc;
 MIPULawEncoder uLawEnc;
 MIPRTPULawEncoder rtpEnc;
 MIPRTPComponent rtpComp;

 
 MIPWinMMInput sndCardInput;
 MIPWinMMOutput sndCardOutput;
 MyChain chain("MPVC");
 RTPSession rtpSession;
 bool returnValue;

 int samplingRate = 8000;
 int numChannels = 1;

 //We'll start microphone
 returnValue=sndCardInput.open(samplingRate,numChannels,interval,buffertime,false);
 returnValue = sampEnc.init(MIPRAWAUDIOMESSAGE_TYPE_S16);
 returnValue = uLawEnc.init();
 returnValue = rtpEnc.init();

 RTPUDPv4TransmissionParams transmissionParams;
 RTPSessionParams sessionParams;
 int portBase = BASEPORT_SEND;
 int status;
 
 transmissionParams.SetPortbase(portBase);
 sessionParams.SetOwnTimestampUnit(1.0/((double)samplingRate));
 sessionParams.SetMaximumPacketSize(64000);

 status = rtpSession.Create(sessionParams,&transmissionParams);

 for(int i=0;i<ipl->count;i++) //这个for是从一个列表中读目的地址，大家可以自己按自己的要求实现，几个目的地就调用几个AddDestination。
 {
  status = rtpSession.AddDestination(RTPIPv4Address(ntohl(inet_addr(ipl->ipaddr[i])),BASEPORT_LISTEN));
 }
 
 returnValue = rtpComp.init(&rtpSession);
 returnValue = chain.setChainStart(&sndCardInput);
 returnValue = chain.addConnection(&sndCardInput, &sampEnc);
 returnValue = chain.addConnection(&sampEnc, &uLawEnc);
 returnValue = chain.addConnection(&uLawEnc, &rtpEnc);
 returnValue = chain.addConnection(&rtpEnc, &rtpComp);
 returnValue = chain.start();

 while(stop_f)
 {
  Sleep(SLEEP_TIME);
 }

 rtpSession.BYEDestroy(RTPTime(10,0),0,0);
 returnValue = chain.stop();
 rtpSession.Destroy();

 WSACleanup();
 return 0;
}

 

listen端的代码类似下面：

DWORD WINAPI WorkerThread_Listen(LPVOID lpParameter)
{
 WSADATA dat;
 WSAStartup(MAKEWORD(2,2),&dat);

 MIPTime interval(0.020); // We'll use 20 millisecond intervals.
 MIPTime buffertime(10);
 MIPAverageTimer timer(interval);
 MIPWAVInput sndFileInput;
 MIPSamplingRateConverter sampConv, sampConv2;
 MIPSampleEncoder sampEnc, sampEnc2, sampEnc3;
 MIPULawEncoder uLawEnc;
 MIPRTPULawEncoder rtpEnc;
 MIPRTPComponent rtpComp;
 MIPRTPDecoder rtpDec;
 MIPRTPULawDecoder rtpULawDec;
 MIPULawDecoder uLawDec;
 MIPAudioMixer mixer;
 
 MIPWinMMOutput sndCardOutput;
 MyChain chain("MPVClisten");
 RTPSession rtpSession;
 bool returnValue;

 int samplingRate = 8000;
 int numChannels = 1;

 
 RTPUDPv4TransmissionParams transmissionParams;
 RTPSessionParams sessionParams;

 int portBase = BASEPORT_LISTEN;
 int status;

 transmissionParams.SetPortbase(portBase);
 sessionParams.SetOwnTimestampUnit(1.0/((double)samplingRate));
 sessionParams.SetMaximumPacketSize(64000);
 status = rtpSession.Create(sessionParams,&transmissionParams);
 
 returnValue = rtpComp.init(&rtpSession);
 returnValue = rtpDec.init(true, 0, &rtpSession);
 returnValue = rtpDec.setPacketDecoder(0,&rtpULawDec);
 returnValue = uLawDec.init();
 returnValue = sampEnc2.init(MIPRAWAUDIOMESSAGE_TYPE_FLOAT);
 returnValue = sampConv2.init(samplingRate, numChannels);
 returnValue = mixer.init(samplingRate, numChannels, interval);
 returnValue = sndCardOutput.open(samplingRate, numChannels, interval);
 returnValue = sampEnc3.init(MIPRAWAUDIOMESSAGE_TYPE_S16LE);
 returnValue = chain.setChainStart(&timer);
 returnValue = chain.addConnection(&timer, &rtpComp);
 returnValue = chain.addConnection(&rtpComp, &rtpDec);
 returnValue = chain.addConnection(&rtpDec, &uLawDec, true);
 returnValue = chain.addConnection(&uLawDec, &sampEnc2, true);
 returnValue = chain.addConnection(&sampEnc2, &sampConv2, true);
 returnValue = chain.addConnection(&sampConv2, &mixer, true);
 returnValue = chain.addConnection(&mixer, &sampEnc3);
 returnValue = chain.addConnection(&sampEnc3, &sndCardOutput);

 // Start the chain
 returnValue = chain.start();

 while(lstop_f)
 {
  Sleep(SLEEP_TIME);
 }
  
 rtpSession.BYEDestroy(RTPTime(10,0),0,0);
 returnValue = chain.stop();
 rtpSession.Destroy();

 WSACleanup();
 return 0;
} 

 

其他的一些UI方面的事情大家随意吧...

你要是在你的局域网里面已经已经成功实现了一个语音会议demo...呵呵，恭喜你。我的文章就先写到这里。更高级的...等我会了就写。

大家如果在上面这章有什么问题，可以看看 源代码src\sessions目录下的mipaudiosession.cpp，里面有MIPAudioSession类的实现，它对我们理解这个chain很有帮助。
文章引用自:http://blog.csdn.net/gzfstudy/archive/2007/06/15/1653328.aspx