12 2018 档案

Xvector in Kaldi nnet3
摘要：Xvector nnet Training of Xvector nnet Xvector nnet in Kaldi Statistics Extraction Layer in Kaldi Statistics Pooling Layer in Kaldi Implementation in Kaldi Con... 阅读全文
posted @ 2018-12-27 10:30 JarvanWang 阅读(1633) 评论(0) 推荐(0)
Kaldi nnet3的fastlstm与标准LSTM
摘要：标准LSTM： 与标准LSTM相比，Kaldi的fastlstm对相同或类似的矩阵运算进行了合并。 # Component specific to 'projected' LSTM (LSTMP), contains both recurrent and non-recurrent projections fastlstm.W_rp, fast... 阅读全文
posted @ 2018-12-27 10:18 JarvanWang 阅读(1340) 评论(1) 推荐(0)
Kaldi nnet3的前向计算
摘要：根据任务，构建ComputationRequst 编译ComputationRequst，获取NnetComputation std::shared_ptr computation = compiler_.Compile(request); 创建计算——CreateComputation compiler.CreateComputation(opts, computat... 阅读全文
posted @ 2018-12-27 10:12 JarvanWang 阅读(1263) 评论(0) 推荐(0)
nnet3的并行化训练
摘要：num_epochs=1 num_archives=64 args.num_jobs_initial=3 args.num_jobs_final=8 num_iters=2*num_epochs*num_archives/(args.num_jobs_initial+args.num_jobs_final) =2*1*64/(3+8)=12 3,3,4,4,5,5,6,6,6,7,7,8 6... 阅读全文
posted @ 2018-12-25 19:55 JarvanWang 阅读(809) 评论(0) 推荐(0)
nnet3bin/nnet3-xvector-compute.cc
摘要：将特征在xvector神经网络模型中前向传播，并写出输出向量。我们将说话人识别的特定神经网络结构的输出向量或embedding称之为"Xvector"。该网络结构包括：帧级别的多个前馈层、帧级别之上的聚合层、统计池化层以及段级别的附加层。通常在统计池化层之后的输出层提取xvector。默认情况下，每个语句生成一个xvector。根据需要，可以chunk中提取多个xvector并求平均，以生成单个矢... 阅读全文
posted @ 2018-12-19 20:53 JarvanWang 阅读(1015) 评论(0) 推荐(0)
nnet3配置中的“编译”
摘要：编译概述 编译流程将Nnet和ComputationRequest作为输入，输出NnetComputation。ComputationRequest包含可用的输入索引 以及 请求的输出索引。 不提供输出索引并让编译器找出需要的输入索引的原因是，某些网络，比如RNNs，为输出给定输出，可能会消耗任意数量的输入特征 struct ComputationRequest包含除... 阅读全文
posted @ 2018-12-19 20:48 JarvanWang 阅读(504) 评论(0) 推荐(0)
nnet3 TDNN chunk, left-context, right-context
摘要：chunk-width 数据块的宽度 NnetIo name=="input" indexes，left-context+num-frame+right-context=5+7+6=18维 features，18*39=702维 NnetIo name="output" indexes，7维，即chunk-width features，7*2968维，2968为输出层单元数。向量... 阅读全文
posted @ 2018-12-19 20:47 JarvanWang 阅读(757) 评论(0) 推荐(0)
nnet3配置中的上下文和chunk（块）大小
摘要：Nnet3配置中的上下文和块大小 简介 本页讨论了nnet3配置中关于解码和训练的块大小以及左右上下文的某些术语。这将有助于理解一些脚本。目前，从脚本角度来看，没有任何关于nnet3的"概述"文档，所以这是nnet3唯一的文档。 基础 如果您已阅读了"nnet3"配置的以前的文档，您会发现"nnet3"不仅支持简单的前馈DNN，还可以实现在网络内层进行时间拼接（... 阅读全文
posted @ 2018-12-19 20:47 JarvanWang 阅读(4364) 评论(2) 推荐(1)
Chain训练准则的计算
摘要：第1000轮迭代时验证集的日志： log/compute_prob_valid.1000.log： LOG (nnet3-chain-compute-prob[5.5.100-d66be]:PrintTotalStats():nnet-chain-diagnostics.cc:194) Overall log-probability for 'output-xent' is -2.14... 阅读全文
posted @ 2018-12-19 20:46 JarvanWang 阅读(1023) 评论(0) 推荐(0)
Factorized TDNN（因子分解TDNN，TDNN-F）
摘要：论文 Povey, D., Cheng, G., Wang, Y., Li, K., Xu, H., Yarmohamadi, M., & Khudanpur, S. (2018). Semi-orthogonal low-rank matrix factorization for deep neural networks. In Proceedings of the 19th Annual Co... 阅读全文
posted @ 2018-12-19 20:42 JarvanWang 阅读(3971) 评论(0) 推荐(0)
nnet3中的数据类型
摘要：目标与背景 之前的nnet1和nnet2基于Component对象，是一个组件的堆栈。每个组件对应一个神经网络层，为简便起见，将一个仿射变换后接一个非线性表示为一层网络，因此每层网络有两个组件。这些旧组件都有Propagate函数以及Backprop函数，两者都以minibatch为单位进行计算，​​也包含其他函数。 nnet1和nnet2还支持非前馈神经网络，但实现不同。 ... 阅读全文
posted @ 2018-12-19 20:40 JarvanWang 阅读(983) 评论(0) 推荐(0)