每次会员到访都需要。会员自主结账或找导购才能被发现。或者需要一个人员站在门口，并且对会员都全部了解，才能对会员到访进行更好服务的接待。 小帅为了免去这些操作呢。就想到了百度AI。语音合成。再结合第三方的人脸库会员到访推送。做了一个简单的会员到访语音提醒推送小工程。 下面我们就一起看一下整体流程吧~
实现步骤
Step1:成为百度AI开放平台的开发者
我们有账号之后登录，并且点击此处(百度语音)创建一个应用，如下图
然后就能看到创建完的应用和 APPID、API KEY 以及 Secret KEY了
Step2:准备数据
语音合成是将文本转换为可以播放的音频文件的服务，我们从大姚的订单库中找一段订单信息的文本如下：
三分钟前，由北京市顺义区二经路与二纬路交汇处北侧，北京首都国际机场T3航站楼 去往 东城区北三环东路36号喜来登大酒店(北京金隅店)
Step3: 编写一个语音合成示例程序
有 第一步 的 API KEY 以及 Secret KEY，以及 第二步 的数据，我们就可以写一个示例代码调用百度AI开放平台的文字识别能力
准备开发环境
小帅选择用 Java来快速搭建一个原型，关于如何安装Java。可以参考百度经验哦～。百度AI有很完善的API文档、和封装调用更方便的工具包。接下来小帅就用Maven搭建工程环境
pom.xml配置如下：
xml请自行访问网页 复制
编写代码
粘贴以下内容，不要忘记替换你的 APPID APIKEY 以及 SECRETKEY 和 图片文件
运行main方法即可
import com.baidu.aip.speech.AipSpeech;
import com.baidu.aip.speech.TtsResponse;
import com.baidu.aip.util.Util;
import org.json.JSONObject;
import java.util.HashMap;
public class Sample {
//第一步创建应用获取的三个值
private static String APPID = "你的 App ID";
private static String APIKEY = "你的 Api Key";
private static String SECRETKEY = "你的 Secret Key";
public static void main(String[] args) {
// 初始化一个AipSpeech
AipSpeech client = new AipSpeech(APPID,APIKEY,SECRETKEY);
// 调用接口 第二步准备的图片
HashMap options = new HashMap<>();
//合成的文本内容
String text = "三分钟前，由北京市顺义区二经路与二纬路交汇处北侧，北京首都国际机场T3航站楼 去往 东城区北三环东路36号喜来登大酒店(北京金隅店)";
//发音人选择
/**
* 度小宇=1，度小美=0，度逍遥=3，度丫丫=4
* 度博文=106，度小童=110，度小萌=111，度米朵=103，度小娇=5
**/
options.put("per","0");
//语速，取值0-9，默认为5中语速
options.put("spd", "3");
TtsResponse res = client.synthesis(text , "zh", 1, options);
byte[] data = res.getData();
JSONObject res1 = res.getResult();
if (data != null) {
try {
Util.writeBytesToFileSystem(data, "F:\\testaudio\\度小美Demooutput.mp3");
} catch (IOException e) {
e.printStackTrace();
}
}
if (res1 != null) {
System.out.println(res1.toString());
}
}
}
保存接口返回语音byte[] 转存为MP3格式文件。这里说明一下默认返回就是MP3格式的数据哦。如果想要其他格式
//3为mp3格式(默认)；
//4为pcm-16k；
//5为pcm-8k；
//6为wav（内容同pcm-16k）;
//注意aue=4或者6是语音识别要求的格式，但是音频内容不是语音识别要求的自然人发音，所以识别效果会受影响。
options.put("aue","3");
点击访问合成的示例MP3文件 https://www.ydxiaoshuai.cn/demo.mp3
语音合成 单例加载。10次测试耗时如下(单位:ms(毫秒))。第一次需要加载一次AUTH。耗时多了一些。后续基本都持平在710ms以内
发送请求到返回数据耗时:1493 发送请求到保存文件耗时:1495 发送请求到返回数据耗时:611 发送请求到保存文件耗时:612 发送请求到返回数据耗时:609 发送请求到保存文件耗时:610 发送请求到返回数据耗时:473 发送请求到保存文件耗时:474 发送请求到返回数据耗时:549 发送请求到保存文件耗时:550 发送请求到返回数据耗时:673 发送请求到保存文件耗时:674 发送请求到返回数据耗时:754 发送请求到保存文件耗时:755 发送请求到返回数据耗时:676 发送请求到保存文件耗时:676 发送请求到返回数据耗时:582 发送请求到保存文件耗时:582 发送请求到返回数据耗时:662 发送请求到保存文件耗时:663 发送请求到返回数据平均耗时:708.2ms 发送请求到保存文件平均耗时:709.1ms
for (int i = 0; i < 10; i++) {
// 调用接口
String text = "三分钟前，由北京市顺义区二经路与二纬路交汇处北侧，北京首都国际机场T3航站楼 去往 东城区北三环东路36号喜来登大酒店(北京金隅店)";
HashMap options = new HashMap();
options.put("per", "0");
options.put("spd", "3");
long startTime = System.currentTimeMillis();
TtsResponse res = client.synthesis(text, "zh", 1, options);
byte[] data = res.getData();
if (data != null) {
long endTime = System.currentTimeMillis();
System.out.println("发送请求到返回数据耗时:"+(endTime - startTime));
try {
Util.writeBytesToFileSystem(data, "F:\\testaudio\\度小美Demooutput.mp3");
long saveEndTime = System.currentTimeMillis();
System.out.println("发送请求到保存文件耗时:"+(saveEndTime - startTime));
} catch (IOException e) {
e.printStackTrace();
}
}
JSONObject res1 = res.getResult();
if (res1 != null) {
System.out.println(res1.toString());
}
System.out.println();
}
系统配置-小帅认为速度和配置 带宽都存在一定的因素
以上数据可以看出。平均耗时在0.7s上下。如果服务器配置贼6、带宽也贼宽。应该耗时还会更低哦
接下来。咱们就拿语音合成的服务。来结合实际业务做一个小的功能哦~
会员到访语音提醒搞起来
简单看一下业务流程图。主要看语音合成、语音提醒部分即可 人脸会员识别可以看百度AI的官方解决方案 https://ai.baidu.com/solution/faceidentify 本业务中人脸识别、摄像头厂商暂时没用百度AI。这一点我也很无奈。迫于公司要求呀。如果再来一次选择。绝对强制提议选择百度AI(怕太便宜而告终 你懂得)
会员信息采集
会员到访提示音发音类型默认 度米多。也可以根据会员不同给不同的发音类型哦~
下拉框
后端会员人脸信息处理
/**
* 会员人脸信息添加
* @param csFace
* @return
*/
@AutoLog(value = "会员人脸信息添加")
@ApiOperation(value="会员人脸信息添加", notes="会员人脸信息添加")
@PostMapping(value = "/add")
public Result add(@RequestBody CsFace csFace) {
Result result = new Result();
csFaceGroup group = new csFaceGroup();
try {
//这里存人脸信息到人脸库就不演示了。人脸库存入成功后业务系统再记录
csFaceService.save(csFace);
//把会员人脸信息提交给JOB等待后续执行。方便前端页面交互不等待
//人脸会员信息只是在一个JobFace类中增加一个List容器 public static List vipFaceMap=new ArrayList();
JobFace.vipFaceMap.add(csFace);
result.success("添加成功！");
} catch (Exception e) {
log.info(e.getMessage());
result.error500("操作失败-人脸服务存在异常");
}
return result;
}
会员到访定制提示音频合成定时任务
import cn.hutool.core.date.DatePattern;
import cn.hutool.core.date.DateUtil;
import cn.netand.common.factory.BDFactory;
import cn.netand.modules.csface.entity.CsFace;
import cn.netand.modules.csface.service.ICsFaceService;
import com.baidu.aip.speech.AipSpeech;
import com.baidu.aip.speech.TtsResponse;
import com.baidu.aip.util.Util;
import lombok.extern.slf4j.Slf4j;
import org.quartz.Job;
import org.quartz.JobExecutionContext;
import org.quartz.JobExecutionException;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import java.io.File;
import java.text.SimpleDateFormat;
import java.util.Arrays;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
/**
* @Description 人脸会员音频生成
* @author 小帅丶
* @className VipVoiceJob
* @Date 2019/11/20 22:11
**/
@Slf4j
public class VipVoiceJob implements Job {
@Value(value = "${xiaoshuai.path.upload}")
private String uploadpath;
@Autowired
private GeneralDealBeanUtil generalDealBeanUtil;
@Autowired
private ICsFaceService csFaceService;
//获取音频合成的客户端
AipSpeech aipSpeech = BDFactory.getAipSpeech();
@Value(value = "${xiaoshuai.domainVoice}")
private String domainVoice;
/**
* 度小宇=1，度小美=0，度逍遥=3，度丫丫=4
* 度博文=106，度小童=110，度小萌=111，度米朵=103，度小娇=5
**/
private static final List audioType = Arrays.asList("1","0","3","4","106","110","111","103","5");
private static final String LANGUAGE_ZH = "zh";
private static final Integer CTP = 1;
private static final String AUDIO = ".mp3";
//任务执行详情
@Override
public void execute(JobExecutionContext jobExecutionContext) throws JobExecutionException {
System.out.println("execute VipVoiceJob = " + DateUtil.format(new Date(), DatePattern.NORM_DATETIME_PATTERN));
List vipFaceMap = JobFace.vipFaceMap;
int vipFaceSize = vipFaceMap.size();
if(vipFaceSize>0){
vipFaceMap.forEach(csFace -> {
//获取会员信息
try {
generalAudio(csFace);
csFace.setVoiceStatus(1);
csFaceService.updateById(csFace);
}catch (Exception e){
System.out.println(e.getMessage());
csFace.setVoiceStatus(2);
csFaceService.updateById(csFace);
}
});
JobFace.vipFaceMap.clear();
}
}
/**
* @Description 生成全部音库音频文件
* @Author 小帅丶
* @Date 2019/11/20 23:28
* @param face 会员人脸数据
* @return void
**/
public void generalAudio(CsFace face){
String ctxPath = uploadpath;
String bizPath = "audios";
File file = new File(ctxPath + File.separator + bizPath + File.separator + face.getId());
if (!file.exists()) {
file.mkdirs();// 创建文件根目录
}
long startTime = System.currentTimeMillis();
audioType.forEach(audioTypeStr->{
HashMap options = new HashMap<>();
//合成的文本内容
String text = "XX门店提醒 "+face.getName()+" 会员到访";
//发音人选择
options.put("per",audioTypeStr);
//语速，取值0-9，默认为5中语速
options.put("spd", "3");
String fileName = audioTypeStr+AUDIO;
TtsResponse response = aipSpeech.synthesis(text,LANGUAGE_ZH,CTP,options);
byte[] data = response.getData();
if (data != null) {
try {
String savePath = file.getPath() + File.separator +fileName;
String filePath = bizPath + File.separator + face.getId() + File.separator + fileName;
if(null!=face.getVoiceType()&&face.getVoiceType().equals(Integer.parseInt(audioTypeStr))){
filePath = filePath.replace("\\", "/");
face.setVoicePath(filePath);
face.setVoiceUrl(domainVoice+filePath);
}
Util.writeBytesToFileSystem(data, savePath);
} catch (Exception e) {
System.out.println(e.getMessage());
}
}
});
long endTime = System.currentTimeMillis();
System.out.println("总耗时 = " + (endTime - startTime) + "ms");
}
}
添加一条定时任务
这里是5秒执行一次。其实可以根据自我需求来定义。定时任务形式也不是必须。
会员音频提示文件生成
数字代表的是发音类型。每添加一个会员。则会生成所有发音类型的音频文件哦。方便后续给每个到访会员给定不同声音的提醒
会员到访APP推送
非百度AI人脸会员解决方案哦~ 不要问为什么不用百度AI的。上面已经给出说明了。 1.摄像头抓怕推送到人脸库系统 2.人脸库系统对比并推送结果到内部业务系统 3.内部业务系统|人脸库系统推送给APP(小帅使用前者) 下图是一个gif。会演示app收到推送弹窗并播放语音提醒。带声音的等小帅后续上传到第三方网站方便大家查看效果。
视频录屏APP推送会员到访并播放会员专属语音
链接: https://pan.baidu.com/s/1psqYLmYNqYa4fpqyKS2Xng 提取码: vbf2 复制这段内容后打开百度网盘手机App，操作更方便哦
