摘要：前言 Transformer的应用场景是NLP领域的序列翻译，在Transformer产生之前，大家一般都是使用基于循环神经网络（RNN）的编码器-解码器（Encoder-Decoder）结构来完成序列翻译。所谓序列翻译，就是输入一个序列，输出另一个序列，例如汉英翻译即输入的序列是汉语表示的一句话，
阅读全文
posted @ 2022-12-25 19:59
随笔分类 - 【神经网络】
摘要：注意力机制 推荐阅读：https://www.cnblogs.com/CocoML/p/12725925.html https://www.cnblogs.com/BlairGrowing/p/15338310.html https://blog.csdn.net/qq_36136196/artic
阅读全文
posted @ 2022-12-25 19:56
摘要：前言 本文介绍的逻辑分为两条 按照基本且典型的神经网络模型进行介绍：MLP/DNN 、CNN、RNN 按照研究领域的典型模型进行介绍： 计算机视觉：GAN、Transformer、Object Detection 自然语言处理：LSTM、GAN 图神经网络：GNN 推荐系统：Deep&wide双塔模
阅读全文
posted @ 2022-07-04 15:15
摘要：变换 线性、非线性变换 在学习神经网络过程中多次看到线性、非线性变换，什么是线性变换和非线性变换，线性和非线性是怎么界定的：一个变换，其实就是一个函数f(x)，输入为x，在通过这个函数之后就变成了y对吧，那么这个从输入到输出的转变过程就是所谓的变换，至于变换是非线性还是线性的，完全取决于函数长什么样
阅读全文
posted @ 2022-07-04 15:14
摘要：LSTM 长短时记忆网络(Long Short Term Memory Network, LSTM)，是一种改进之后的循环神经网络，可以解决RNN无法处理长距离的依赖的问题，目前比较流行。 长短时记忆网络的思路： 原始 RNN 的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。 再增加一个状态，
阅读全文
posted @ 2019-03-26 21:54
