tensorflow(二十一):误差计算方法(MSE和交叉熵)

一、均方误差

 

 

 

 

 

 

 

 

 

复制代码
import tensorflow as tf

x = tf.random.normal([2, 4])
w = tf.random.normal([4, 3])
b = tf.zeros([3])
y = tf.constant([2, 0])  #标签值

with tf.GradientTape() as tape:
    tape.watch([w, b])
    prob = tf.nn.softmax(x@w+b, axis=1)
    loss = tf.reduce_mean(tf.losses.MSE(tf.one_hot(y, depth=3), prob))

grads = tape.gradient(loss, [w, b])
print(grads[0], '\n')
print(grads[1])
复制代码

二、交叉熵-Entropy

 

 

 

 

 

 

 

 

 

复制代码
import tensorflow as tf

x = tf.random.normal([2, 4])  #2个4维样本
w = tf.random.normal([4, 3])
b = tf.zeros([3])
y = tf.constant([2, 0])    #2个样本的实际标签

with tf.GradientTape() as tape:
    tape.watch([w, b])
    logits = x @ w + b
    loss = tf.reduce_mean(tf.losses.categorical_crossentropy(tf.one_hot(y, depth=3), logits, from_logits = True))

grads = tape.gradient(loss, [w, b])
print("w的偏导数:\n", grads[0])
print("b的偏导数:\n", grads[1])
复制代码

三、熵的概念

 

 

 

 

 

 

复制代码
import tensorflow as tf
import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

a = tf.fill([4],0.25)
b = tf.math.log(a) / tf.math.log(2.)  #tensorflow中默认以e为底,变为2为底。
print(b)
print(-tf.reduce_sum(a*b).numpy())

a1 = tf.constant([0.1, 0.1, 0.1, 0.7])
b1 = tf.math.log(a1) / tf.math.log(2.)  #tensorflow中默认以e为底,变为2为底。
print(-tf.reduce_sum(a1*b1).numpy())

a2 = tf.constant([0.01, 0.01, 0.01, 0.97])
b2 = tf.math.log(a2) / tf.math.log(2.)  #tensorflow中默认以e为底,变为2为底。
print(-tf.reduce_sum(a2*b2).numpy())
复制代码

 

 

 

 

 

 

复制代码
import tensorflow as tf
import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

#函数大写形式
criteon = tf.losses.BinaryCrossentropy() #首先声明这样一个类,对instance做一个调用。
loss = criteon([1], [0.1])
print(loss)

#函数小写的形式。直接调用就可以了。
loss1 = tf.losses.binary_crossentropy([1],[0.1])
print(loss1)
复制代码

 

 

 

 

 

 

 

 

复制代码
import tensorflow as tf
import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

x = tf.random.normal([1,784])
w = tf.random.normal([784,2])
b = tf.zeros(2)
logits = x@w+b
print("前向传播结果:",logits.numpy())

prob = tf.math.softmax(logits, axis=1)
print("经过softmax数值为:",prob.numpy())

loss = tf.losses.categorical_crossentropy([0,1],logits,from_logits=True)
print("交叉熵数值为:{0}".format(loss))
复制代码

 

posted @   jasonzhangxianrong  阅读(786)  评论(0编辑  收藏  举报
编辑推荐:
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
阅读排行:
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
点击右上角即可分享
微信分享提示