猪猪的机器学习笔记(十)人工神经网络

人工神经网络

作者:樱花猪

 

摘要:

本文为七月算法(julyedu.com12月机器学习第十次次课在线笔记。人工神经网络在支持图像处理、文本、语言以及序列多种类型的数据处理时都用用到。本次课程更加侧重于实践,把抽象的人工神经网络用程序展现出来,课上讲述了编程使用的工具和方法,对于日后实验有非常重要的帮助。

 

引言:

人工神经网络(Artificial Neural Network,即ANN ),是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象,建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。本次课程讨论了神经网络的基本框架、非常热门的BP算法以及实际编程的要点。

 

预备知识:

概率论;梯度下降法

 

人工神经网络

前向全连接网路

人工神经网络求法

 

一、人工神经网络

    人工神经网络基础形态是前向全连接网络,同时拥有多种变形,这些变形构成了深度学习的主要内容。

卷积网路(CNN):属于部分连接网络,是深度学习结构核心之一

递归网络(RNN):是一种更为复杂的网络结构,能够很好的应对序列数据。

   自编码器(Auto Encoder),一种数据特征学习,类似于PCA的作用

 

二、前向全连接网路(Full connected Forward Network)

1、基础神经单元

神经元是构成神经网络的基本单元,一个神经元的组成包括:

输入:n 维向量x;

线性加权:

激活函数:,求非线性,容易求导;

输出标量:

 

2、常用激活函数:

a、sigmoid函数。输出值域不对称,两头过于平坦。

b、tanh函数。两头过于平坦

C、Rectified linear unit

   收敛速度比sigmoid和tanh快,计算简单高效。是目前最广泛使用的激活函数,特别应用在CNN。

 

3、丛神经元到网络

输入错,输入向量;

中间层(隐含层)

输出层,输出向量,用于预测、分类以及回归。

 

三、人工神经网络求法

1、损失函数(Loss Function)

配合模型训练,有Loss/Error Fuction:

Softmax / Cross-entropy loss:

SVM / hinge loss:

 Least squares (L2 loss):

 

2、输入数据的预处理:

    如果输入数据各个维度数据是相关的,将导致各个权重相互影响,不利于优化算法寻找局部最优解。

    如果各个维度的规模不一致,将导致对应的Error Surface容易出现狭窄区域,不利于优化算法寻找局部最优。

    通常对向量数据必须要用PCA和白化处理,而对于一般的数据只需要做到均值化和归一化。

 

3、训练算法(BP算法)

   神经网络的训练目标是找到W和B使得损失函数最小。优化算法需要计算dW和dB。BP算法就是计算W和B导数的算法。

   BP算法的核心是链式规则。

算法步骤:

a. forward计算一次

b. 逐层计算backwoard得到各个层的dW和dB。

c. 应用随机梯度下降法SGD,更新W,B

 

4、数值校验

   实现BP算法的过程中比较容易出错,因此有必要进行检查。

 

5、算法优化

   多层网络的Error Surface非常复杂,存在很多局部最优,我们要寻找尽可能大的范围内的局部最优。

   动量法不随更新W合适更新“更新W”的速度。

   当位于距离较长的“坡”的时候动量法可以加快滑动速度;当位于平缓的区域时,动量法也能够保持一定的速度。





posted @ 2016-04-08 21:07  樱花猪  阅读(869)  评论(0编辑  收藏  举报