机器学习

1.　　BN：Batch Normalization

深度神经网络随着网络深度加深，训练起来越困难，收敛越来越慢

2.　　如何理解卷积

两个函数的卷积，本质上就是先将一个函数翻转，然后进行滑动叠加。

1） 从“积”的过程可以看到，我们得到的叠加值，是个全局的概念。以信号分析为例，卷积的结果是不仅跟当前时刻输入信号的响应值有关，也跟过去所有时刻输入信号的响应都有关系，考虑了对过去的所有输入的效果的累积。在图像处理的中，卷积处理的结果，其实就是把每个像素周边的，甚至是整个图像的像素都考虑进来，对当前像素进行某种加权处理。所以说，“积”是全局概念，或者说是一种“混合”，把两个函数在时间或者空间上进行混合。

2）那为什么要进行“卷”？直接相乘不好吗？我的理解，进行“卷”（翻转）的目的其实是施加一种约束，它指定了在“积”的时候以什么为参照。在信号分析的场景，它指定了在哪个特定时间点的前后进行“积”，在空间分析的场景，它指定了在哪个位置的周边进行累积处理。

3.  马尔科夫链

既然某一时刻状态转移的概率只依赖于它的前一个状态 ，那么我们只要能求出系统中任意两个状态之间的转换概率，这个马尔科夫链的模型就定了
状态转移矩阵有一个非常重要的特性，经过一定有限次数序列的转换，最终一定可以得到一个稳定的概率分布 ，且与初始状态概率分布无关

4.  数据剪枝（Data Pruning）

指在训练模型时，通过减少或删除数据集中的一些样本或特征，来提高模型的性能和效率。数据剪枝可以用于优化模型在训练集和测试集上的表现，以及减少模型的复杂度和运行时间。

具体来说，数据剪枝可以分为以下两种类型：

1. 样本剪枝（Instance Pruning）：样本剪枝是指从数据集中删除一些样本，以减少训练数据的规模。这种剪枝方法可以减少模型的计算和存储开销，同时可以降低过拟合的风险。

2. 特征剪枝（Feature Pruning）：特征剪枝是指从数据集中删除一些特征或属性，以减少模型的复杂度和计算开销。这种剪枝方法可以降低模型的维度，提高模型的泛化能力，同时可以减少特征选择的时间和成本