【tensorflow:Google】四、深层神经网络

一、深度学习与深层神经网络

1、线性模型局限性

　　线性模型无论多少层，表达能力是一致的。可以通过激活函数实现非线性。

2、多层网络可以解决异或运算

 

二、损失函数定义

1、经典损失函数：

　　分类问题：

　　　　二分类：取0.5作为阈值

　　　　多分类：设置n个输出节点，每个对应该类的可能性。神经网络输出向量 —>概率分布：softmax。

　　　　　　两个向量的距离：交叉熵 - sigma  p_x log(q_x)，其中p代表y，q代表yHat

 

softmax: 最后加一层 y‘ = normed(e^y)

reduce_mean：直接对整个矩阵做平均

一起使用可以通过 tf.nn.softmax_cross_entropy_with_logits

 

回归问题：MSE mean (y-yHat)^2

 

2、自定义损失函数

tf.greater

tf.select (condition, trueValue, falseValue)

 

 

三、神经网络优化算法

梯度下降、batch、

1、学习率

指数衰减学习率：tf.train.exponential_decay 、 decayLR = LR * decay_date ^ (global_steps / decay_steps)