摘要:
“Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》,可惜直到近两年,这个方法才逐渐得到更多人的应用和认可。 为 阅读全文
摘要:
TensorBoard是TensorFlow下的一个可视化的工具,能够帮助我们在训练大规模神经网络过程中出现的复杂且不好理解的运算。 TensorBoard能展示你训练过程中绘制的图像、网络结构等。 1.构建简单的TensorBoard日志输出 import tensorflow as tf inp 阅读全文
摘要:
模型文件的保存 tensorflow将模型保持到本地会生成4个文件: meta文件:保存了网络的图结构,包含变量、op、集合等信息 ckpt文件: 二进制文件,保存了网络中所有权重、偏置等变量数值,分为两个文件,一个是.data-00000-of-00001 文件,一个是 .index 文件 che 阅读全文
摘要:
TFRecord生成 一、为什么使用TFRecord? 正常情况下我们训练文件夹经常会生成 train, test 或者val文件夹,这些文件夹内部往往会存着成千上万的图片或文本等文件,这些文件被散列存着,这样不仅占用磁盘空间,并且再被一个个读取的时候会非常慢,繁琐。占用大量内存空间(有的大型数据不 阅读全文
摘要:
应用场景 假如我们有一系列诉求是把图片识别成一个特定分类、比如 把图片分类成为猫、狗、狼等 把图片分类成为奔驰、宝马、奥迪 ... 几乎很少有人从头训练网络、复用只有训练的网络参数适应新的数据集、参考transfer-learning In practice, very few people tra 阅读全文
摘要:
LeNet-5、AlexNet、ZFNet、VGGNet、GoogleNet、ResNet,ResNeXt,DenseNet,Shake Shake,SeNet,MobileNet,ShuffleNet,DarkNet LeNet:最早用于数字识别的CNN AlexNet:2012年ILSVRC比赛 阅读全文