摘要：前面的文章（飞桨paddlespeech语音唤醒推理C浮点实现）讲了飞桨paddlespeech语音唤醒推理的C浮点实现。但是嵌入式设备通常CPU频率低和memory小，在嵌入式设备上要想流畅的运行语音唤醒功能，通常用的是定点实现。于是我就在浮点实现（把卷积层和相应的batchNormal层合并成一
阅读全文
随笔分类 - 智能语音
摘要：上篇（智能语音之远场关键词识别实践（一））讲了“远场关键词识别”项目中后端上的实践。本篇将讲在前端上的一些实践以及将前端和后端连起来形成一个完整的方案。下图是其框图：（麦克风阵列为圆阵且有四个麦克风，即有四个语音通道） 从上图可以看出，前端主要包括去混响、声源定位和波速形成（beamforming）
阅读全文
摘要：语音识别主要分两大类：大词汇量连续语音识别技术（Large Vocabulary Continuous Speech Recognition，LVCSR）和关键词识别（keyword Spotting，KWS）。LVCSR由于对算力要求较高，一般在云端（服务器侧）做，而KWS对算力的要求相对较小，可
阅读全文
摘要：语音识别有近场和远场之分，且很多场景下都会用到麦克风阵列(micphone array)。所谓麦克风阵列是一组位于空间不同位置的麦克风按一定的形状规则布置形成的阵列，是对空间传播声音信号进行空间采样的一种装置，采集到的信号包含了其空间位置信息。近场语音识别将声波看成球面波，它考虑各麦克风接收信号间的
阅读全文
摘要：上篇文章（基于混合模型的语音降噪实践）实践了基于混合模型的算法来做语音降噪，有了一定的降噪效果。本篇说说怎么样来提升降噪效果。 算法里会算每个音素的高斯模型参数，也会建一个音素分类的神经网络模型。这些都是依赖于音素对齐的，音素对齐做的越好，每个音素的高斯模型越准确，音素分类模型越收敛准确率越高，从而
阅读全文
摘要：深度学习神经网络模型中的量化是指浮点数用定点数来表示，也就是在DSP技术中常说的Q格式。我在以前的文章（Android手机上Audio DSP频率低 memory小的应对措施 ）中简单讲过Q格式，网上也有很多讲Q格式的，这里就不细讲了。神经网络模型在训练时都是浮点运算的，得到的模型参数也是浮点的。通
阅读全文
摘要：以前的神经网络几乎都是部署在云端（服务器上），设备端采集到数据通过网络发送给服务器做inference（推理），结果再通过网络返回给设备端。如今越来越多的神经网络部署在嵌入式设备端上，即inference在设备端上做。嵌入式设备的特点是算力不强、memory小。可以通过对神经网络做量化来降load和
阅读全文
摘要：卷积神经网络（CNN）是深度学习中常用的网络架构，在智能语音中也不例外，比如语音识别。语音中是按帧来处理的，每一帧处理完就得到了相对应的特征向量，常用的特征向量有MFCC等，通常处理完一帧得到的是一个39维的MFCC特征向量。假设一段语音有N帧，处理完这段语音后得到的是一个39行N列（行表示特征维度
阅读全文
摘要：在处理深度学习分类问题时，会用到一些评价指标，如accuracy（准确率）等。刚开始接触时会感觉有点多有点绕，不太好理解。本文写出我的理解，同时以语音唤醒（唤醒词识别）来举例，希望能加深理解这些指标。 1，TP / FP / TN / FN 下表表示为一个二分类的混淆矩阵（多分类同理，把不属于当前类
阅读全文
摘要：先前的文章《三个小白是如何在三个月内搭一个基于kaldi的嵌入式在线语音识别系统的 》说我们花了不到三个月的时间搭了一个基于kaldi的嵌入式语音识别系统，不过它是基于传统的GMM-HMM的，是给我们练手用的，通过搭这个系统我们累积了一定的语音识别领域的经验，接下来我们就要考虑做什么形态的产品了。语
阅读全文
摘要：在基于DNN-HMM的语音识别中，DNN的作用跟GMM是一样的，即它是取代GMM的，具体作用是算特征值对每个三音素状态的概率，算出来哪个最大这个特征值就对应哪个状态。只不过以前是用GMM算的，现在用DNN算了。这是典型的多分类问题，所以输出层用的激活函数是softmax，损失函数用的是cross e
阅读全文
摘要：本文讲梯度下降（Gradient Descent）前先看看利用梯度下降法进行监督学习（例如分类、回归等）的一般步骤： 1， 定义损失函数（Loss Function） 2， 信息流forward propagation，直到输出端 3， 误差信号back propagation。采用“链式法则”，求
阅读全文
摘要：前面的博客里说过最近几个月我从传统语音（语音通信）切到了智能语音（语音识别）。刚开始是学语音识别领域的基础知识，学了后把自己学到的写了PPT给组内同学做了presentation（语音识别传统方法(GMM+HMM+NGRAM)概述）。一段时间后老板就布置了具体任务：在我们公司自己的ARM芯片上基于k
阅读全文
摘要：在基于GMM-HMM的传统语音识别里，比音素（phone）更小的单位是状态（state）。一般每个音素由三个状态组成，特殊的是静音（SIL）由五个状态组成。这里所说的状态就是指HMM里的隐藏的状态，而每帧数据就是指HMM里的观测值。每个状态可以用一个GMM模型表示（这个GMM模型的参数是通过训练得到
阅读全文
摘要：本人以前主要focus在传统音频的软件开发，接触到的算法主要是音频信号处理相关的，如各种编解码算法和回声消除算法等。最近切到语音识别上，接触到的算法就变成了各种机器学习算法，如GMM等。K-means作为其中比较简单的一种肯定是要好好掌握的。今天就讲讲K-means的基本原理和代码实现。其中基本原理
阅读全文
摘要：学习语音识别有些时间了。老板要求我们基于Kaldi搭一个语音识别系统，在设备上通过MIC讲话，连着设备的PC的console上就能基本实时显示出讲话的内容。由于我们都是小白，刚开始可以要求低些，就用传统的GMM-HMM，能实现孤立词识别就算达标了，后面随着这方面能力的提高，再做更难一点的。任务下达后
阅读全文
摘要：上篇博客（语音识别传统方法(GMM+HMM+NGRAM)概述）说到我们team要做语音识别相关的项目，而我们公司的芯片是用在终端上的，即我们要做终端上的语音识别。由于目前终端（如手机）上的CPU还不足够强劲，不能让语音识别的各种算法跑在终端上，尤其现在语音识别都是基于深度学习来做了，更加不能跑在终端
阅读全文
摘要：春节后到现在近两个月了，没有更新博客，主要是因为工作的关注点正从传统语音（语音通信）转向智能语音（语音识别）。部门起了个新项目，要用到语音识别（准备基于Kaldi来做）。我们之前做的传统音频已基本成熟，就开始关注在语音识别上了。对于我们来说，这是个全新的领域（虽然都是语音相关的，但是语音通信偏信号处
阅读全文
摘要：原文网址：http://www.sohu.com/a/206437824_610706 引语：亚马逊的Echo大卖掀起了一股语音智能的热潮，语音交互技术成为炙手可热的时代宠儿。在日新月异的科技领域，眼看则人工智能将要引领一番新的革命，互联网巨头和科技创业公司都纷纷入场。新时代的商业规则蕴含着新的机遇
阅读全文
