配置Freeswitch(mod_unimrcp)与百度Mrcp Server实现实时语音识别(ASR)

前面我们已经搭建好了百度Mrcp Server服务器，接下来我们将Freeswitch与unimrcp server两者连接起来,配置百度unimrcp server的文章大家去这里看一下：搭建百度Mrcp Server与Freeswitch的mod_unimrcp对接实现智能客服

一、配置freeswitch的mod_unimrcp模块：

1、安装mod_unimrcp模块

1.  
   cd /项目源码地址/frerswitch
2.  
   vim modules.conf
3.  
    
4.  
   # 取消掉asr_tts/mod_unimrcp的注释
5.  
   asr_tts/mod_unimrcp
6.  
    
7.  
   # 安装mod_unimrcp模块
8.  
   make mod_unimrcp-install
9.  
    
10.  
    # 编辑/usr/local/freeswitch/conf/autoload_configs/modules.conf.xml，添加或者去掉注释mod_unimrcp，让模块启动默认加载
11.  
    vim /usr/local/freeswitch/conf/autoload_configs/modules.conf.xml
12.  
     
13.  
    <load module="mod_unimrcp"/>

2、设置profile文件与conf文件；

在mrcp_profiles目录下新建unimrcpserver-mrcp-v2.xml配置文件：

vim /usr/local/freeswitch/conf/mrcp_profiles/unimrcpserver-mrcp-v2.xml

然后输入以下内容:

1.  
   <include>
2.  
   <!-- UniMRCP Server MRCPv2 -->
3.  
   <!-- 后面我们使用该配置文件，均使用 name 作为唯一标识，而不是文件名 -->
4.  
   <profile name="unimrcpserver-mrcp2" version="2">
5.  
   <!-- MRCP 服务器地址和SIP端口号 -->
6.  
   <param name="server-ip" value="192.168.16.4"/>
7.  
   <param name="server-port" value="8060"/>
8.  
   <param name="resource-location" value=""/>
9.  
    
10.  
    <!-- FreeSWITCH IP、端口以及 SIP 传输方式 -->
11.  
    <param name="client-ip" value="192.168.16.4" />
12.  
    <param name="client-port" value="5069"/>
13.  
    <param name="sip-transport" value="udp"/>
14.  
     
15.  
    <param name="speechsynth" value="speechsynthesizer"/>
16.  
    <param name="speechrecog" value="speechrecognizer"/>
17.  
    <!--param name="rtp-ext-ip" value="auto"/-->
18.  
    <param name="rtp-ip" value="192.168.16.4"/>
19.  
    <param name="rtp-port-min" value="4000"/>
20.  
    <param name="rtp-port-max" value="5000"/>
21.  
    <param name="codecs" value="PCMU PCMA L16/96/8000"/>
22.  
     
23.  
    <!-- Add any default MRCP params for SPEAK requests here -->
24.  
    <synthparams>
25.  
    </synthparams>
26.  
     
27.  
    <!-- Add any default MRCP params for RECOGNIZE requests here -->
28.  
    <recogparams>
29.  
    <!--param name="start-input-timers" value="false"/-->
30.  
    </recogparams>
31.  
    </profile>
32.  
    </include>

注意，server-ip为你上一篇文章你部署的搭建百度Mrcp Server与Freeswitch的mod_unimrcp对接实现智能客服的IP地址,你可以使用ifconfig查看内网IP地址。

接下来修改unimrcp默认使用的ASR驱动,可以使用vim /usr/local/freeswitch/conf/autoload_configs/unimrcp.conf.xml编辑修改default-tts-profile和default-asr-profile为我们新创建的unimrcpserver-mrcp2：

1.  
   <!-- UniMRCP profile to use for TTS -->
2.  
   <param name="default-tts-profile" value="unimrcpserver-mrcp2"/>
3.  
   <!-- UniMRCP profile to use for ASR -->
4.  
   <param name="default-asr-profile" value="unimrcpserver-mrcp2"/>

三、设置拨号计划

在/usr/local/freeswitch/conf/dialplan/default.xml文件中创建拨号计划：

1.  
   <extension name="unimrcp">
2.  
   <condition field="destination_number" expression="^5001$">
3.  
   <action application="answer"/>
4.  
   <action application="lua" data="baidu.lua"/>
5.  
   </condition>
6.  
   </extension>

在/usr/local/freeswitch/scripts目录下新增baidu.lua脚本：

注意
其实楼主使用的是python编写的脚本，实现了tts和asr无缝链接，并且支持了一个简单的对话交流，还没有分享出来，先占位;希望大家给星哦！

1.  
   session:answer()
2.  
    
3.  
   --freeswitch.consoleLog("INFO", "Called extension is '".. argv[1]"'\n")
4.  
   welcome = "ivr/ivr-welcome_to_freeswitch.wav"
5.  
   --
6.  
   grammar = "hello"
7.  
   no_input_timeout = 80000
8.  
   recognition_timeout = 80000
9.  
   --
10.  
     
11.  
    tryagain = 1
12.  
    while (tryagain == 1) do
13.  
    --
14.  
    session:execute("play_and_detect_speech",welcome .. "detect:unimrcp {start-input-timers=false,no-input-timeout=" .. no_input_timeout .. ",recognition-timeout=" .. recognition_timeout .. "}" .. grammar)
15.  
    xml = session:getVariable('detect_speech_result')
16.  
    --
17.  
    if (xml == nil) then
18.  
    freeswitch.consoleLog("CRIT","Result is 'nil'\n")
19.  
    tryagain = 0
20.  
    else
21.  
    freeswitch.consoleLog("CRIT","Result is '" .. xml .. "'\n")
22.  
    tryagain = 0
23.  
    end
24.  
    end
25.  
    --
26.  
    -- put logic to forward call here
27.  
    --
28.  
    session:sleep(250)
29.  
    session:hangup()

我们需要在/usr/local/freeswitch/grammar目录新增hello.gram语法文件，可以为空语法文件须满足语音识别语法规范1.0标准（简称 SRGS1.0），该语法文件ASR引擎在进行识别时可以使用。

1.  
   <?xml version="1.0" encoding="utf-8" ?>
2.  
   <grammar version="1.0" xml:lang="zh-cn" root="Menu" tag-format="semantics/1.0" xmlns=http://www.w3.org/2001/06/grammar xmlns:sapi="http://schemas.microsoft.com/Speech/2002/06/SRGSExtensions">
3.  
    
4.  
   </grammar>

接下来用我们的软电话注册freeswitch,然后拨打5001即可看到如下识别结果：

四、如何拨打外网交流

使用如下代码即可,你可以通过ESL链接：

1.  
   originate user/1005 &lua(baidu.lua)
2.  
    
3.  
   # 拨打远程，需要转码和忽略前期声音
4.  
   originate {ignore_early_media=true,absolute_codec_string=PCMA}sofia/gateway/sip线路/电话 &lua(baidu.lua)
5.