机器学习随笔（后期整理）

22

1.机器学习Machine Learning 分为监督学习Supervised Learning、非监督学习Unsupervised Learning、强化学习等

机器学习可视化工具MLDemos，下载地址：http://mldemos.epfl.ch/

IBM中文档介绍机器学习：https://www.ibm.com/developerworks/cn/cognitive/library/cc-models-machine-learning/index.html

监督学习：输入的是标记好的数据（Data with labeled），有期望的输出（Desired output），用于数据建立联系Mapping。

监督学习将数据分为训练数据（Training data）和测试数据（Test data），通过激活函数（Sigmoid）经行训练，找到偏差（bias），然后预测模型（predict）

其中对数据建模进行特征提取（Features extract）找到特征向量（Features vector），然后通过代价函数（Cost function）和Sigmoid函数构建激活函数经行迭代（Iteration）

在迭代中寻找局部最优解用到了梯度下降法（Gradient regression），对代价函数中每个权重求偏导

监督学习方法分为：神经网络和决策树

神经网络中有两种方法：

感知机（Perceptrons）,利用前置反馈（Feed forward）直接预测，运算简单预测效果较差

前馈中将数据与特征向量相乘，判断结果是否为1或0，然后反馈给训练机做期望输出值运算并修改偏差。

反向传播神经网络（Back propagation neural network），将得到的结果最大值反向运算到隐藏层求出偏差并得到输出，运算量大预测较好。

前馈求出输出向量，然后比较的到最大值下标，将输出层和隐藏层的偏差都求出来（利用sigmoid函数），然后根据偏差重新计算权重向量（利用代价函数求偏导）

IBM中文文档关于神经网络深度剖析：https://www.ibm.com/developerworks/cn/cognitive/library/cc-cognitive-neural-networks-deep-dive/index.html

2.深度学习

Wikipedia中文文档深度学习：https://zh.wikipedia.org/wiki/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0

深度学习属于机器学习，方法包括深度神经网络（Deep neural network），卷积神经网络（Convolution neural network），深度置信网络（Deep belief network）、递归神经网络（Recurrent neural network）等

深度学习的基础是机器学习中的分散表示（distributed representation）。

分散表示假定观测值是由不同因子相互作用生成。在此基础上，深度学习进一步假定这一相互作用的过程可分为多个层次，代表对观测值的多层抽象。不同的层数和层的规模可用于不同程度的抽象^[3]。

3.建模及应用

分类：输出结果为离散量，只要告诉是1，2等情况就行了，依靠输出向量中最大概率得到结果。

回归：输出结果为连续量，不仅要告诉是不是，还要计算出一些数值。

------

机器学习中的代价函数：http://www.cnblogs.com/Belter/p/6653773.html

机器学习中逻辑递归：http://blog.csdn.net/han_xiaoyang/article/details/49123419

阿里云数据工程（Dataworks）产品说明：https://help.aliyun.com/document_detail/30256.html