卷积层和池化层
摘要：卷积神经网络是在BP神经网络的改进，与BP类似，都采用了前向传播计算输出值，反向传播调整权重和偏置；CNN与标准的BP最大的不同是：CNN中相邻层之间的神经单元并不是全连接，而是部分连接，也就是某个神经单元的感知区域来自于上层的部分神经单元，而不是像BP那样与所有的神经单元相连接。CNN的有三个重要
阅读全文
posted @ 2016-11-30 22:32
11 2016 档案
ReLu(Rectified Linear Units)激活函数
摘要：Sigmoid函数导数图像如下，函数最大值约为0.25 根据BP算法，每次更新的权值会是多层sigmoid prime的乘积，随着层数增多会越来越小。 ReLu函数 f(x)=max(0,x)，导数在x>0时为1，x<0时为0。 使用ReLu可以一定程度减小运算量，避免层数增加的问题。 下面代码中，
阅读全文
posted @ 2016-11-29 22:52
改进神经网络的学习方法
摘要：防止输出层梯度饱和 1.sigmoid+交叉熵 均方误差做代价函数时，输出层反向传播的误差δL=(a−y)∗σ′ 当sigmoid函数饱和时，即使a与y相差很大，传播误差也很小，造成前期训练速度很慢。 因此上一篇随笔中采用了交叉熵作为输出层代价函数。 2.
阅读全文
posted @ 2016-11-28 20:21
BP神经网络——交叉熵作代价函数
摘要：Sigmoid函数 当神经元的输出接近 1时，曲线变得相当平，即σ′(z)的值会很小，进而也就使∂C/∂w和∂C/∂b会非常小。造成学习缓慢，下面有一个二次代价函数的cost变化图，epoch从15到50变化很小。 引入交叉熵代价函数 针对上述问题，希望对输出层选择一个不包含sigmoid的权值更新
阅读全文
posted @ 2016-11-27 21:56
尝试神经网络用于电影评分
摘要：在之前的随笔《非对称SVD电影推荐系统》中应用SVD，得到还不错的结果。 此次尝试将BP神经网络应用于预测用户评分，由于同类用户不同电影评分差异巨大，神经网络输出神经元不易设置。 仅取movie id=0 的用户作为测试数据(350 条记录），这样只需要5个输出神经元。movie id 共有三千多个
阅读全文
posted @ 2016-11-26 21:38
BP神经网络
摘要：代码为MNIST数据集上运行简单BP神经网络的python实现。 以下公式和文字来自Wanna_Go的博文 http://www.cnblogs.com/wxshi/p/6077734.html，包含详尽的描述和推导。 BP神经网络 单个神经元 神经网络是由多个“神经元”组成，单个神经元如下图所示：
阅读全文
posted @ 2016-11-25 21:49
PCA和Softmax分类比较—Mnist与人脸数据集
摘要：PCA人脸识别中三种方法得到的正确率可达到100% 作为对比，单独使用Softmax回归对人脸40*10*92*112的数据分类正确率为97%。 用PCA对MNIST手写数字10*500*28*28识别，也可以达到相对比较高的正确率，马氏距离h=32时正确率为0.93 （在softmax中为0.85
阅读全文
posted @ 2016-11-24 11:21
非对称SVD电影推荐系统
摘要：采用1M MovieLensz数据(80%train, 20%test, UserIDs range between 1 and 6040 ,MovieIDs range between 1 and 3952, From http://files.grouplens.org/datasets/mov
阅读全文
posted @ 2016-11-23 21:45
PCA人脸识别
摘要：人脸数据来自http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html 实现代码和效果如下。由于图片数量有限（40*10），将原有图片顺序打乱进行检测。 可见马氏距离效果最佳。 [以下公式和文字来自John Hany的博文 ht
阅读全文
posted @ 2016-11-22 19:07
主成分分析（PCA）
摘要：主成分分析（principal component analysis）是一种常见的数据降维方法，其目的是在“信息”损失较小的前提下，将高维的数据转换到低维，从而减小计算量。PCA的本质就是找一些投影方向，使得数据在这些投影方向上的方差最大，而且这些投影方向是相互正交的。 使用拉格朗日方程来求解该最大
阅读全文
posted @ 2016-11-21 19:30
特征值分解与奇异值分解(SVD)
摘要：1.使用QR分解获取特征值和特征向量 将矩阵A进行QR分解，得到正规正交矩阵Q与上三角形矩阵R。由上可知Ak为相似矩阵，当k增加时，Ak收敛到上三角矩阵，特征值为对角项。 2.奇异值分解(SVD) 其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。 将矩阵
阅读全文
posted @ 2016-11-20 18:12
矩阵的QR分解（三种方法）Python实现
摘要：1.Gram-Schmidt正交化 假设原来的矩阵为[a,b]，a,b为线性无关的二维向量，下面我们通过Gram-Schmidt正交化使得矩阵A为标准正交矩阵： 假设正交化后的矩阵为Q=[A,B],我们可以令A=a，那么我们的目的根据AB=I来求B，B可以表示为b向量与b向量在a上的投影的误差向量：
阅读全文
posted @ 2016-11-18 21:53
LU分解和求解线性方程组
摘要：1 # coding:utf8 2 import numpy as np 3 4 def lu(mat): 5 r,c=np.shape(mat) 6 s=min(r,c) 7 for k in range(s): 8 x=1.0/mat[k][k] # 将后续除法变成乘法 9 for i in range(k+1,r...
阅读全文
posted @ 2016-11-18 17:36
