随笔分类 - AI基础学习
5. bn和ln
摘要：batchnormalization和layernormalization，主要区别在于 normalization的方向不同。 normalization Normalization：规范化或标准化，就是把输入数据X，在输送给神经元之前先对其进行平移和伸缩变换，将X的分布规范化成在固定区间范围的标
4.transformer
摘要：建议直接看参考的知乎链接，我这是一坨 1. encorder \[\mathrm{LayerNorm}\big(X+\mathrm{Feed}\mathrm{Forwar
3. 注意力机制
摘要：深度学习中的注意力机制（Attention Mechanism）是一种模仿人类视觉和认知系统的方法，它允许神经网络在处理输入数据时集中注意力于相关的部分。通过引入注意力机制，神经网络能够自动地学习并选择性地关注输入中的重要信息，提高模型的性能和泛化能力。 最典型的注意力机制包括自注意力机制、空间注意
2.反向传播
摘要：就是链式求导法则 参考资料 视频【官方双语】深度学习之反向传播算法 上/下 Part 3 ver 0.9 beta 图片举例解释 “反向传播算法”过程及公式推导（超直观好懂的Backpropagation） 公式整个推导神经网络之反向传播算法（BP）公式推导（超详细） 代码实现深度学习之反向传播算法
1.MLP/ANN
摘要：1.多层感知机（MLP）原理简介 多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构，如下图 从上图可以看到，多层感知机层与层之
