动手学习机器学习_limu

动手学习深度学习读书笔记

学长老早就开始催着读这本书了，一直也不知道瞎忙啥呢，给我读，往死里读。

预备知识部分是mxnet的安装的一些方法，以及一些深度学下的基础语法。mxnet这个框架感觉不错。一致致力于被一个成熟的框架宠幸~
因此从深度学习的基础开始学习

深度学习基础

线性回归

线性回归从0开始讲的还不错，可以从0开始搭建一个线性回归。这一节比较简单略

待补充。。

softmax分类

交叉熵损失函数

softmax回归适应于分类的问题，使用softmax运算输出类别的概率分布。
softmax回归是一个单层的神经网络，输出个数等于分类问题中的类别个数。
交叉熵适合衡量两个概率分布的差异。

为什么不用平方损失函数而用交叉熵损失函数？

因为softmax回归只能用于分类问题，想要预测分类结果并不需要预测概率完全等于标签概率，例如在图像分类中，如果\(y^i\)=3,只需要\(y_{3}^{i}\)的概率值比其他的两个\(y_{1}^{i}\),\(y_{2}^{i}\)概率值大即可,举个例子\(y_{3}^{i}\)=0.6，那么\(y_{1}^{i}\)=\(y_{2}^{i}\)=0.2的结果和\(y_{1}^{i}\)=0.1，\(y_{2}^{i}\)=0.3的结果是一样的。同样能得到正确的分类结果。

因为为什么不用平方损失函数是因为只需要适合衡量两个概率分布差异的测量函数就可，而交叉熵损失函数就是一个不错的选择。交叉熵只关心对正确类别的预测概率，只要其值足够大，就可以 确保分类结果的正确。

激活函数

sigmoid
relu