2 简单的二分类问题-逻辑回归

1 数据的分类：

　　结构化数据，可以用表格表达描述的数据，计算机对于结构化数据有远超人类的计算能力

　　非结构化数据：例如图像，声音、文字序列等无法直接描述的数据，人类对于非结构化数据天生具有超强的理解能力

2 Sigmoid函数：

　　二分类问题分类结果的表达，一般输出为属于某一类的概率。在神经网络中，我们不能保证神经网络输出的结果是一个具体为都多大或者多小的数字，为了确保二分类问题的输出结果为（0~1）之间的数，我们可以对神经网络的输出数据用Sigmoid函数进行处理。

　　Sigmoid 函数图形如下：它可以把负无穷到正无穷的数映射到 0~1 区间。

3 逻辑回归：

　　我们给输入X，希望获得X属于分类的概率，因此系统模型可表示为

　　y=δ（WX+b），其中δ就是Sigmoid函数的表示

4 损失函数：

　　损失函数表示为模型的评估结果与实际的偏差，与模型具体如何、以及模型的层次结构没有直接的数学关系。

　　我们可以考虑使用平方差，但是这个表达式是非凸的，无法找到极值点。我们在设计损失函数时，应该确保损失函数是凸函数。

　　这里使用交叉熵（交叉熵用来衡量两个概率分布之间的距离，这里输出结果为概率，使用交叉熵比较合适）

　　推理过程如下：

     

　　我们的目标是使损失函数尽可能小（接近于0），当 y=1 时，损失函数会使y帽尽可能大，反之。

5 梯度下降算法：通过对损失函数的参数求偏导更新参数信息，找到损失函数的极小值点。损失函数的极值点就是最优的参数集合。