摘要： 题目地址：Exercise: Logistic Regression题目概要：某个高中有80名学生，其中40名得到了大学的录取，40名没有被录取。x中包含80名学生两门标准考试的成绩，y中包含学生是否被录取（1代表录取、0代表未录取）。过程：1、加载试验数据，并为x输入添加一个偏置项。x=load('ex4x.dat');y=load('ex4y.dat');x=[ones(length(y),1) x];2、绘制数据分布 % find returns the indices of the% rows meeting the specified conditio 阅读全文

摘要： logistic regression用于二分类的情况。即Y∈{0,1}。模型对于分布形式如下的样本：如果使用linear regression的话，可以拟合出一条类似下图的曲线：通过增加一个阈值，我们也可以做二分类，例如，假定阈值为0.5：那么，可以写成：但是这种方式在面对类似这样的数据分布时，会有问题：图中的回归线为了拟合到右边的3个奇异点而变得非常斜，这不是我们希望看到的。为此，我们为logistic regression另外提出了一种模型：linear regression的计算模型是：hθ(x)=θTxlogistic regression的计算模型是：hθ(x)=g(θTx)注意： 阅读全文

摘要： 题目地址： http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex2/ex2.html题目给出的数据是一组2-8岁男童的身高。x是年龄，y是身高。样本数m=50.使用gradient descent来做线性回归。step1：数据准备。加载数据：>> x=load('ex2x.dat');>> y=load('ex2y.dat');可视化数据：figure % open a new figur 阅读全文

摘要： Normal Equations 的由来假设我们有m个样本。特征向量的维度为n。因此，可知样本为{(x(1),y(1)), (x(2),y(2)),... ..., (x(m),y(m))},其中对于每一个样本中的x(i),都有x(i)={x1(i), xn(i),... ...,xn(i)}。令 H(θ)=θ0 + θ1x1 +θ2x2 +... + θnxn，则有若希望H(θ)=Y，则有X · θ = Y我们先来回忆一下两个概念：单位矩阵 和 矩阵的逆，看看它们有什么性质。（1）单位矩阵EAE=EA=A（2）矩阵的逆A-1要求：A必须为方阵性质：AA-1=A-1A=E再来看看式子 阅读全文

摘要： 算法复习。时间复杂度：平均情况 O(n*log2n)最坏情况 O(n2)最好情况 O(n*log2n)思路：设待排序的数组为a,长度为n，起始i=0，j=n-1。对于每一轮快排：1、从右往左（j--的方向）查找到比key(一般设定为a[0])小的值，然后将a[i]与a[j]交换。2、从左往右（i++的方向）查找比key大的值，将a[i]与a[j]交换。3、一直执行1、2步骤，直到i>j。此时，key的左边为比key小的值，key的右边为比key大的值。然后再分别递归左半边array和右半边array。直到递归的终止条件（i>=j）满足，则停止递归。代码：#include <i 阅读全文

摘要： 视频地址： https://class.coursera.org/neuralnets-2012-001/lecture/indexPPT下载： https://d396qusza40orc.cloudfront.net/neuralnets/lecture_slides%2Flec3.pptx笔记：还没整理成电子版，先放上来纸质版。参考资料：《Dropout: A simple and effective way to improve neural networks》 Geoffrey E Hinton, George E Dahl 2012《Early stopping》 wikipedi 阅读全文

摘要： 介绍了三种学习类型：监督型、增强型、非监督型lecture中只涵盖了监督型和非监督型，对于加强型的只有简要内容。 阅读全文

摘要： 摘自 Neural Networks for Machine Learning by Geoffrey Hinton （coursera课程） 阅读全文

摘要： autoassociation是一个很有趣的可以自己计算权重的算法。假设输入向量为X，输出向量为Y；权重由向量W来表示，那么autoassociation的计算过程为：①计算 Wx = W * X；②计算 error = X - Wx;③计算 ΔW = η*error*xT④计算 Wnew = W + ΔW截取PPT中的介绍：PPT中给出的例子PPT里面给的例子是X=Y的情况，在这种情况下，该算法的matlab实现是：function [weight,f]=heterassociation(x,times,n)w = zeros(1,n);step = 0.1;wx = w.*x;for i 阅读全文

摘要： 使用神经网络来帮助建立搜索关键词所响应的页面对于搜索引擎而已，每一位用户可以通过只点击某条搜索结果，而不选择点击其他内容，从而向引擎及时提供有关于他对搜索结果喜好程度的信息。为此，我们可以构造一个神经网络，向该网络提供：查询的单词，返回给用户的搜索结果，以及用户的点击决策，然后对该神经网络加以训练。图1 多层感知机由多层神经元构成的网络称为多层感知机（multilayer perception，MLP）。为什么我们不是简单地记录下查询条件以及每个搜索结果被点击的次数，而要使用如此复杂的神经网络呢？因为神经网络的威力在于，它能根据与其他查询结果相似度的情况，对以前从未见过的查询结果给出合理的猜测 阅读全文