摘要： 一、不进行归一化，某些W变化对loss影响较大 二、进行归一化 1、可以看到，Batch Norm结束后，只得到三个数值，每个通道一个。 2、正常的Batch Norm过后，均值为0，方差为1，但是需要再加一个贝塔和伽马。（B,r）需要学出来。 变成了均值为B，方差为r。 三、用法 1、下面的cen 阅读全文

摘要： 一、网络结构 二、代码 import os os.environ['TF_CPP_MIN_LOG_LEVEL']='2' import tensorflow as tf from tensorflow.keras import layers, optimizers, datasets, Sequen 阅读全文

摘要： 一、最大池化的类方法和函数式方法 二、上采样 三、RELU的类风格和函数式风格 阅读全文

摘要： 一、基本概念 1、 看图：我们假设几个变量，N是卷积核的个数，B是batch_size，C是通道数，如RGB三个通道。 如下所示：X中b是batch_size，最后一个3是通道数。 one K 中第一个3是通道数，后面两个3是卷积大小3*3. multi-K 中第一个16是N，指的是有16个卷积。b 阅读全文

摘要： 一、提前停止 ▪ Validation set to select parameters ▪ Monitor validation performance ▪ Stop at the highest val perf. 二、DroupOut 注意：在训练时，要加上Training=True，其他都是 阅读全文

摘要： 一、动量 1、普通梯度更新与加上动量的梯度更新。 解释：原先更新的方向是梯度方向，现在多了一个Z方向，即现在是结合了历史惯性。 二、学习率缓慢减少 解释：学习率太大和太小都不太好 阅读全文

摘要： 一、减少过拟合 奥卡姆剃刀原理：没必要的东西尽量少用。 因此过拟合有以下几种： （1）更多数据 （2）限制网络复杂性：使用浅层网络、新数据集使用大网络后加惩罚。 （3）droupout （4）数据增强 （5）用验证数据早停。 二、损失函数加惩罚 1、原始 2、加惩罚项以后 三、加惩罚项方法 1、ke 阅读全文

摘要： 1. 介绍 1.1. 论文提出的背景 虽然在一般情况下，我们不会去区分训练和部署使用的模型，但是训练和部署之间存在着一定的不一致性: 在训练过程中，我们需要使用复杂的模型，大量的计算资源，以便从非常大、高度冗余的数据集中提取出信息。在实验中，效果最好的模型往往规模很大，甚至由多个模型集成得到。而大模 阅读全文

摘要： 一、数据集分割 1、训练集、测试集 2、训练集、验证集、测试集 步骤： （1）把训练集60K分成两部分，一部分50K，另一部分10K。 （2）组合成dataset，并打乱。 二、训练过程评估 1、训练的过程评估 其中，第二行是训练，总轮数是5，每两轮做一次评估，达到的效果好的话提前停止。 2、在测试 阅读全文

摘要： 一、前言 参考：https://zhuanlan.zhihu.com/p/73176084 代码：https://link.zhihu.com/?target=https%3A//github.com/649453932/Chinese-Text-Classification-Pytorch 代码： 阅读全文