随笔分类 - 时序深度学习网络
摘要：ECAPA-TDNN网络架构被分成了三个小节，下面将对ecapa-tdnn模型架构以及代码进行详细分析。 依赖通道和时序的统计池化。 通道注意力模块 多层特征的聚合 论文地址 代码地址1 建模通道和时序依赖关系的统计池化 其本质是将时序注意力机制延伸到通道注意力，形成通道-时序注意力方法。在此之前需
阅读全文
摘要：attention 在正式开始探索attention之前，首先了解一下seq2seq。循环神经网络只能将一个序列信号转换为定长输出，但Seq2Seq可以实现一个序列信号转化成一个不定长的序列输出，因此seq2seq模型应用广泛，可以应用于很多不对等输入输出的场景，比如机器翻译，文本摘要，对话生成，诗
阅读全文
摘要：LSTM提出背景 LSTM缓解了RNN中梯度消失的问题，使其可以处理长短时序列，但是需要注意的是LSTM并没有彻底解决梯度消失的问题。LSTM被各大科技公司应用在文字翻译，语音识别等方向，因为其相比RNN，在各个应用场景上带来了比较大的效果提升。 LSTM经过千锤百炼才有了现在的形态，so，让我们开
阅读全文
摘要：RNN原理 RNN在实际使用的频率并不多，大多使用LSTM替代RNN，因此对RNN进行简单的介绍。RNN是研究LSTM的基础，毕竟LSTM是基于RNN的改良，二者循环原理大体一致。 初识RNN，要记住在时间步上，RNN的权值共享即可。 RNN的运行原理就相当于，每一个时间步利用RNN计算一次得到输出
阅读全文
