摘要：首先简要介绍了下TFRecord格式以及内部实现protobuf协议，然后基于TFRecord格式，对MNIST数据集转换成TFRecord格式，写入本地磁盘文件，再从磁盘文件读取，通过pyplot模块现实在界面上，效果图如下： TFRecord和Protobuf协议简介 TFRecord是谷歌专门 阅读全文

摘要：如果不对模型参数进行保存，当训练结束以后，模型也在内存中被释放，下一轮又需要对模型进行重新训练，有没有一种方法，可以利用之前已经训练好的模型参数值，直接进行模型推理或者继续训练？这里需要引入一个数据之久化的概念，其通用定义就是将内存中的数据模型转换为存储模型,以及将存储模型转换为内存中的数据模型的统 阅读全文

摘要：如下样例基于tensorflow实现了一个简单的3层深度学习入门框架程序，程序主要有如下特性： 1、 基于著名的MNIST手写数字集样例数据：http://yann.lecun.com/exdb/mnist/ 2、 加入衰减学习率优化，使得学习率可以根据训练步数指数级减少，在训练后期增加模型稳定性 阅读全文

摘要：为了使训练模型在测试数据上有更好的效果，可以引入一种新的方法：滑动平均模型。通过维护一个影子变量，来代替最终训练参数，进行训练模型的验证。 在tensorflow中提供了ExponentialMovingAverage来实行滑动平均模型，模型会维护一个影子变量，其计算公式为： shadow_vari 阅读全文

摘要：机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1-norm和ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。L2范数也被称为权重衰减（weight decay）。 一般回归分析中回归ww表示特征的系数，从上式可以看到正则化项是对系 阅读全文