2018年6月4日
指数衰减学习率
摘要： #coding:utf-8 #设损失函数 loss=(w+1)^2,令w初值是常数10.反向传播就是求最优w，即求最小loss对应的w值 #使用指数衰减学习率，在迭代初期得到较高的下降速度，可以在较小的训练轮数下取得更有效收敛度 import tensorflow as tf LEARNING_RATE_BASE = 0.1 #最初学习率 LEARNING_RATE_DECAY = 0... 阅读全文
posted @ 2018-06-04 21:39 梦醒江南·Infinite 阅读(2019) 评论(0) 推荐(0) 编辑
学习率
摘要： 来源：中国大学MOOC 曹健 《TensorFlow笔记》 学习率：参数每次更新的幅度。 阅读全文
posted @ 2018-06-04 20:55 梦醒江南·Infinite 阅读(233) 评论(0) 推荐(0) 编辑
损失函数 之 交叉熵
摘要： 来源：中国大学MOOC 曹健 《TensorFlow笔记》 交叉熵表征两个概率分布之间的距离。 手写数字识别会用到上面这个函数 阅读全文
posted @ 2018-06-04 20:18 梦醒江南·Infinite 阅读(201) 评论(0) 推荐(0) 编辑
损失函数（二）
摘要： 来源：中国大学MOOC 曹健 《TensorFlow笔记》 若成本大于利润，则会发现模型会往小的方向预测。 将COST=9，PROFIT=1，结果如下： 阅读全文
posted @ 2018-06-04 20:05 梦醒江南·Infinite 阅读(144) 评论(0) 推荐(0) 编辑
损失函数(一)
摘要： 来源：中国大学MOOC 损失函数有三种：均方误差、自定义、交叉熵 均方误差： 阅读全文
posted @ 2018-06-04 19:52 梦醒江南·Infinite 阅读(159) 评论(0) 推荐(0) 编辑