深度学习第一课

　　什么是深度学习？

AI→ML→DL

人工智能包括机器学习包括深度学习，深度学习起源于人工神经网络的研究

或者ML与DL是部分包含的关系

ML适合处理结构化数据，DL适合处理非结构化数据

 

　　什么是结构化数据，非结构化数据？

行与列之间有关系的叫结构化数据；没有关系的例如图片视频文本等，就是非结构化数据

深度学习应用领域广泛，比如计算机视觉，图像识别分类，自然语言处理

 

机器学习：通过已知的输入和输出进行训练，学习规则，得到模型函数映射，达到处理未知的输入

实际上是计算权重值的过程

 

　　神经网络中的感知器算法类似生物中的神经元

接收输入，权重处理后，是否达到刺激（阈值），决定是否激活该神经元，决定是否传递数据

感知器是神经网络起源的算法，具有指导意义

 

　　实现二分类

输入=》向量[x1, x2, x3, x4]=>样本

权重　　向量[w1, w2, w3, w4]

净输入，z=∑Wi Xi=w1*x1+w2*x2+w3*x3+w4*x4

与阈值θ相比，z>=θ或z<θ，得到转换结果，从而实现二分类

相比的这个转换函数用阶跃函数，称为激励函数（激活函数）

 

　　将θ调整为0

z = w1*x1+w2*x2+w3*x3+w4*x4 -θ

设b=-θ作为一个偏置

z = w1*x1+w2*x2+w3*x3+w4*x4 + b* x0

b作为w0，x0==1

z = w0*x0+w1*x1+w2*x2+w3*x3+w4*x4

增加了一个w0*x0

 

　　权重更新

感知器会根据输入样本数据不断更新权重，更新公式为

wj = wj + △wj　　　　　　　　　　　　　#wj = wj + del wj

△wj = η学习率*（y真实值-y预测值）*xj　　#del wj = eta*(y-y_hat)*xj

η为学习率决定更新幅度

 

对于del wj，如果预测值与真实值相同，就是del wj为0,

如果预测错误比真实值低，del wj为正，那么就会增加这个权重，反之减少

 

　　更新规则

 

　　实现步骤

1.对权重进行初始化，设置为0或很小

2.对训练集中每一个样本进行迭代，计算输出值（预测值）y

3.根据输出值y与真实值y，更新权重

4.循环步骤2，直到达到指定的次数（或完全收敛）

 说明：如果两个类别线性可分，则感知器一定会收敛。如果线性不可分，则不一定会收敛。

 

程序示例

第二节课