tensorflow2知识总结---3、逻辑回归与交叉熵
tensorflow2知识总结---3、逻辑回归与交叉熵
一、总结
一句话总结:
1、逻辑回归:线性回归预测的是一个连续值,逻辑回归给出的“是”和“否”的回答
2、交叉熵:交叉熵刻画的是实际输出(概率)与期望输出(概率)的距离,也就是交叉熵的值越小,两个概率分布就越接近。
1、sigmoid函数 和 概率分布的关系?
sigmoid函数是一个概率分布函数,给定某个输入,它将输出为一个概率值
2、逻辑回归损失函数?
对于分类问题,我们最好的使用交叉熵损失函数会更有效,交叉熵会输出一个更大的"损失"
3、交叉熵损失函数?
交叉熵刻画的是实际输出(概率)与期望输出(概率)的距离,也就是交叉熵的值越小,两个概率分布就越接近。
4、keras交叉熵的表示?
在keras里,我们使用binary_crossentropy 来计算二元交叉熵。
二、逻辑回归与交叉熵
博客对应课程的视频位置:
线性回归预测的是一个连续值
逻辑回归给出的“是”和“否”的回答
sigmoid函数是一个概率分布函数,给定某个输入,它将输出为一个概率值
逻辑回归损失函数
平方差所惩罚的是与损失为同一数量级的情形
对于分类问题,我们最好的使用交叉熵损失函数会更有效
交叉熵会输出一个更大的“损失"
交叉熵损失函数
交叉熵刻画的是实际输出(概率)与期望输出(概率)的距离,也就是交叉熵的值越小,两个概率分布就越接近。
假设概率分布p为期望输出,概率分布q为实际输出,H(p,q)为交叉熵,则:
keras交叉熵
在keras里,我们使用binary_crossentropy 来计算二元交叉熵。