摘要: 将特征在xvector神经网络模型中前向传播,并写出输出向量。我们将说话人识别的特定神经网络结构的输出向量或embedding称之为"Xvector"。该网络结构包括:帧级别的多个前馈层、帧级别之上的聚合层、统计池化层以及段级别的附加层。通常在统计池化层之后的输出层提取xvector。默认情况下,每个语句生成一个xvector。根据需要,可以chunk中提取多个xvector并求平均,以生成单个矢... 阅读全文
posted @ 2018-12-19 20:53 JarvanWang 阅读(994) 评论(0) 推荐(0) 编辑
摘要: 编译概述 编译流程将Nnet和ComputationRequest作为输入,输出NnetComputation。ComputationRequest包含可用的输入索引 以及 请求的输出索引。 不提供输出索引并让编译器找出需要的输入索引的原因是,某些网络,比如RNNs,为输出给定输出,可能会消耗任意数量的输入特征 struct ComputationRequest包含除... 阅读全文
posted @ 2018-12-19 20:48 JarvanWang 阅读(495) 评论(0) 推荐(0) 编辑
摘要: chunk-width 数据块的宽度 NnetIo name=="input" indexes,left-context+num-frame+right-context=5+7+6=18维 features,18*39=702维 NnetIo name="output" indexes,7维,即chunk-width features,7*2968维,2968为输出层单元数。向量... 阅读全文
posted @ 2018-12-19 20:47 JarvanWang 阅读(744) 评论(0) 推荐(0) 编辑
摘要: Nnet3配置中的上下文和块大小 简介 本页讨论了nnet3配置中关于解码和训练的块大小以及左右上下文的某些术语。这将有助于理解一些脚本。目前,从脚本角度来看,没有任何关于nnet3的"概述"文档,所以这是nnet3唯一的文档。 基础 如果您已阅读了"nnet3"配置的以前的文档,您会发现"nnet3"不仅支持简单的前馈DNN,还可以实现在网络内层进行时间拼接(... 阅读全文
posted @ 2018-12-19 20:47 JarvanWang 阅读(4282) 评论(2) 推荐(1) 编辑
摘要: 第1000轮迭代时验证集的日志: log/compute_prob_valid.1000.log: LOG (nnet3-chain-compute-prob[5.5.100-d66be]:PrintTotalStats():nnet-chain-diagnostics.cc:194) Overall log-probability for 'output-xent' is -2.14... 阅读全文
posted @ 2018-12-19 20:46 JarvanWang 阅读(1016) 评论(0) 推荐(0) 编辑
摘要: 论文 Povey, D., Cheng, G., Wang, Y., Li, K., Xu, H., Yarmohamadi, M., & Khudanpur, S. (2018). Semi-orthogonal low-rank matrix factorization for deep neural networks. In Proceedings of the 19th Annual Co... 阅读全文
posted @ 2018-12-19 20:42 JarvanWang 阅读(3889) 评论(0) 推荐(0) 编辑
摘要: 目标与背景 之前的nnet1和nnet2基于Component对象,是一个组件的堆栈。每个组件对应一个神经网络层,为简便起见,将一个仿射变换后接一个非线性表示为一层网络,因此每层网络有两个组件。这些旧组件都有Propagate函数以及Backprop函数,两者都以minibatch为单位进行计算,​​也包含其他函数。 nnet1和nnet2还支持非前馈神经网络,但实现不同。 ... 阅读全文
posted @ 2018-12-19 20:40 JarvanWang 阅读(935) 评论(0) 推荐(0) 编辑