tensorflow入门（三）

三种代价函数

1，二次代价函数

  式子代表预测值与样本值的差得平方和

 

由于使用的是梯度下降法，我们对变量w，b分别求偏导：

这种函数对于处理线性的关系比较好，但是如果遇到s型函数（如下图所示），效率不高。

从图中我们看出：当我们想要趋近于1时，B点接近于1，变化趋势变小（很正确），A点与1距离较远，变化趋势较大（很正确），C点（假设在x = -3处）远离1，变化趋势很小（发生错误），因此，二次代价函数中单凭梯度的大小决定变化的快慢是不对的。

由此我们引出了第二个代价函数——交叉熵代价函数

2，交叉熵代价函数

右边是babababab的推导过程，最终得到表达式：

结论如上↑

3，对数释然代价函数

 

我们对上次的代码进行修改，修改了loss的函数

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

#载入数据集
mnist = input_data.read_data_sets("MNIST_data",one_hot=True)

#每个批次的大小
batch_size = 100
#计算一共有多少个批次
n_batch = mnist.train.num_examples // batch_size

#定义两个placeholder
x = tf.placeholder(tf.float32,[None,784]) #图片
y = tf.placeholder(tf.float32,[None,10]) #标签

#创建一个简单的神经网络
w = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
prediction = tf.nn.softmax(tf.matmul(x,w)+b)

#二次代价函数
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
#梯度下降算法
train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss)

#初始化变量
init = tf.global_variables_initializer()

#结果存放在一个bool类型的列表中,argmax()返回一维张量中最大值所在的位置，equal函数判断两者是否相等
correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))
#求准确率,cast：将bool型转换为0，1然后求平均正好算到是准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

with tf.Session() as sess:
    sess.run(init)
    for epoch in range(21):
        for batch in range(batch_size):#next_batch:不断获取下一组数据
            batch_xs,batch_ys = mnist.train.next_batch(batch_size)
            sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys})

        acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
        print("Iter "+str(epoch)+",Testing Accuracy "+str(acc))

得到结果：

Iter 0,Testing Accuracy 0.7051
Iter 1,Testing Accuracy 0.8002
Iter 2,Testing Accuracy 0.8105
Iter 3,Testing Accuracy 0.8183
Iter 4,Testing Accuracy 0.8218
Iter 5,Testing Accuracy 0.8268
Iter 6,Testing Accuracy 0.8585
Iter 7,Testing Accuracy 0.8724
Iter 8,Testing Accuracy 0.8866
Iter 9,Testing Accuracy 0.8899
Iter 10,Testing Accuracy 0.8936
Iter 11,Testing Accuracy 0.8968
Iter 12,Testing Accuracy 0.8979
Iter 13,Testing Accuracy 0.8985
Iter 14,Testing Accuracy 0.8994
Iter 15,Testing Accuracy 0.9007
Iter 16,Testing Accuracy 0.9015
Iter 17,Testing Accuracy 0.9024
Iter 18,Testing Accuracy 0.9047
Iter 19,Testing Accuracy 0.9041
Iter 20,Testing Accuracy 0.9057

哇，准确率提高很多诶！

 

 ——