【tensorflow:Google】四、深层神经网络

一、深度学习与深层神经网络

1、线性模型局限性

  线性模型无论多少层,表达能力是一致的。可以通过激活函数实现非线性。

2、多层网络可以解决异或运算

 

二、损失函数定义

1、经典损失函数:

  分类问题:

    二分类:取0.5作为阈值

    多分类:设置n个输出节点,每个对应该类的可能性。神经网络输出向量 —>概率分布:softmax。

      两个向量的距离:交叉熵 - sigma  p_x log(q_x),其中p代表y,q代表yHat

 

softmax: 最后加一层 y‘ = normed(e^y)

reduce_mean:直接对整个矩阵做平均

一起使用可以通过 tf.nn.softmax_cross_entropy_with_logits

 

回归问题:MSE mean (y-yHat)^2

 

2、自定义损失函数

tf.greater

tf.select (condition, trueValue, falseValue)

 

 

三、神经网络优化算法

梯度下降、batch、

1、学习率

指数衰减学习率:tf.train.exponential_decay 、 decayLR = LR * decay_date ^ (global_steps / decay_steps)

posted on 2017-08-31 22:25  yesuuu  阅读(142)  评论(0编辑  收藏  举报

导航