机器学习&数据挖掘笔记_14（GMM-HMM语音识别简单理解）
摘要：为了对GMM-HMM在语音识别上的应用有个宏观认识，花了些时间读了下HTK（用htk完成简单的孤立词识别）的部分源码，对该算法总算有了点大概认识，达到了预期我想要的。不得不说，网络上关于语音识别的通俗易懂教程太少，都是各种公式满天飞，很少有说具体细节的，当然了，那需要有实战经验才行。下面总结以下几点，对其有个宏观印象即可（以孤立词识别为例）。 一、每个单词的读音都对应一个HMM模型，大家都知道HMM模型中有个状态集S，那么每个状态用什么来表示呢，数字？向量？矩阵？其实这个状态集中的状态没有具体的数学要求，只是一个名称而已，你可以用’1’, ’2’, ‘3’…表示，也可以用’a’, ‘b’...
阅读全文
posted @
2013-08-23 07:34
tornadomeet
阅读(37758)
推荐(6) 编辑
机器学习&数据挖掘笔记_13（用htk完成简单的孤立词识别）
摘要：最近在看图模型中著名的HMM算法，对应的一些理论公式也能看懂个大概，就是不太明白怎样在一个具体的机器学习问题（比如分类，回归）中使用HMM，特别是一些有关状态变量、观察变量和实际问题中变量的对应关系，因此目前急需一个实际例子来加深对HMM算法的仰慕，大家如有好的例子来具体学HMM算法的话，欢迎分享！众所周知，著名的HMM开源库为Hidden Markov Model Toolkit（以下简称HTK），而HTK在语音识别领域应用很成功，这2天花了些时间学习了HTK的使用，完成的是最简单孤立词的识别，即Yes、No的语音识别，网上这方面的教程纵多，见参考资料部分。 当然了，进行实验的前提是正...
阅读全文
posted @
2013-08-22 07:43
tornadomeet
阅读(12153)
推荐(3) 编辑
Deep learning：四十三(用Hessian Free方法训练Deep Network)
摘要：目前，深度网络（Deep Nets）权值训练的主流方法还是梯度下降法（结合BP算法），当然在此之前可以用无监督的方法（比如说RBM，Autoencoder）来预训练参数的权值，而梯度下降法应用在深度网络中的一个缺点是权值的迭代变化值会很小，很容易收敛到的局部最优点；另一个缺点是梯度下降法不能很好的处理有病态的曲率（比如Rosenbrock函数）的误差函数。而本文中所介绍的Hessian Free方法（以下简称HF）可以不用预训练网络的权值，效果也还不错，且其适用范围更广（可以用于RNN等网络的学习），同时克服了上面梯度下降法的那2个缺点。HF的主要思想类似于牛顿迭代法，只是并没有显示的去计..
阅读全文
posted @
2013-08-19 11:20
tornadomeet
阅读(13701)
推荐(1) 编辑
机器学习&数据挖掘笔记_12（对Conjugate Gradient 优化的简单理解）
摘要：数学优化方法在机器学习算法中至关重要，本篇博客主要来简单介绍下Conjugate Gradient(共轭梯度法，以下简称CG)算法，内容是参考的文献为：An Introduction to the Conjugate Gradient Method Without the Agonizing Pain，具体细节大家还需仔细阅读那篇文章，这篇博客并不是重现那篇论文的内容，只是简单的梳理下CG算法的流程，以及它的重要思路，方便大家理解CG算法。 首先我们需要解决的问题是：求满足线性方程(1)：的解x. 那么有人就这么认为了：这个解x不就是吗？对，这样说也不能算错，但是如果A不可逆那么x这样...
阅读全文
posted @
2013-08-17 21:54
tornadomeet
阅读(12288)
推荐(0) 编辑
Deep learning：四十二(Denoise Autoencoder简单理解)
摘要：前言： 当采用无监督的方法分层预训练深度网络的权值时，为了学习到较鲁棒的特征，可以在网络的可视层（即数据的输入层）引入随机噪声，这种方法称为Denoise Autoencoder(简称dAE)，由Bengio在08年提出，见其文章Extracting and composing robust features with denoising autoencoders.使用dAE时，可以用被破坏的输入数据重构出原始的数据（指没被破坏的数据），所以它训练出来的特征会更鲁棒。本篇博文主要是根据Benigio的那篇文章简单介绍下dAE，然后通过2个简单的实验来说明实际编程中该怎样应用dAE。这2个...
阅读全文
posted @
2013-08-16 08:02
tornadomeet
阅读(75239)
推荐(1) 编辑
Deep learning：四十一(Dropout简单理解)
摘要：前言 训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的，源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意为：通过阻止特征检测器的共同作用来提高神经网络的性能。本篇博文就是按照这篇论文简单介绍下Dropout的思想，以及从用一个简单的例子来说明该如何使用dropout。 基础知识： Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂...
阅读全文
posted @
2013-08-14 19:14
tornadomeet
阅读(159991)
推荐(11) 编辑
