摘要:
目录1. 位置编码与词嵌入2.余弦距离 1. 位置编码与词嵌入 import torch import torch.nn as nn import math # 定义词向量嵌入的大小 d_model = 512 # 定义位置编码的维度 max_seq_len = 5000 # 定义词向量嵌入层 em 阅读全文
摘要:
目录1. 概述2. 采样率3. 振幅数值的量化-分贝db4. 预处理--预加重5. 分帧6. 加窗7. 离散快速傅里叶变换8. 梅尔滤波器组9 倒谱分析10, 离散余弦变换11 MFCC12 倒谱均值减 1. 概述 语音产业的上一次爆发出现在20世纪80年代到90年代:隐马尔科夫模型的应用,使大规模 阅读全文
摘要:
目录1. 概念2. BiLSTM + CRF 结构3. CRF建模的损失函数4. 全部路径的分数计算--前向算法的动态规划5. CRF的Viterbi解码 参考链接: https://paddlepedia.readthedocs.io/en/latest/tutorials/natural_lan 阅读全文
摘要:
目录1. 训练2. 推理3. 效果 1. 训练 import collections import numpy as np import tensorflow as tf # 数据预处理 # poetry_file = './data/poetry.txt' # 诗集 poetrys = [] wi 阅读全文
摘要:
目录1. 数据的获取2. 数据加载3. 制作数据集4. 制作训练集5. 模型定义6. 训练模型7. 可视化8. 结果 1. 数据的获取 # 导入一些需要的库 # 由于Python是由社区推动的开源并且免费的开发语言,不受商业公司控制,因此,Python的改进往往比较激进, # 不兼容的情况时有发生。 阅读全文
摘要:
GPT 代码与论文 https://github.com/lyeoni/gpt-pytorch https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf Bert算法的论 阅读全文
摘要:
目录1. 最基本的单层网络2. N VS 13. 1 VS N4. N vs M5. Attention机制 参考链接:完全图解RNN、RNN变体、Seq2Seq、Attention机制 1. 最基本的单层网络 输入是x,经过变换Wx+b和激活函数f得到输出y。 经典的RNN结构(N vs N) 序 阅读全文
摘要:
目录1. sequence2sequence任务 特点2. 编码器与解码器3. Attention 注意力机制--太重要了!!4. 自注意力机制 参考:https://zhuanlan.zhihu.com/p/38816145 sequence2sequence模型发展到今天,根据不同任务有着不同的 阅读全文
摘要:
目录1. 复习Basic RNN2. LSTM 长短期记忆 网络结构3. RNN实现手写数字识别5. LSTM变形 强烈建议阅读:http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Long range temporal depende 阅读全文
摘要:
目录1. 概述2. RNN的模型 参考:https://zhuanlan.zhihu.com/p/30844905 1. 概述 输出会反馈到输入的神经网络: 循环神经网络(Recurrent Neural Networks ,以下简称RNN),它广泛的用于自然语言处理中的语音识别,手写书别以及机器翻 阅读全文