深度学习——练习
对于深度学习的基础,线性回归以及逻辑回归,下面针对这两个方面做一个练习。
例子主要参考http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=DeepLearning
一、线性回归
下载数据http://openclassroom.stanford.edu/MainFolder/courses/DeepLearning/exercises/ex2materials/ex2Data.zip
数据中给出了2-8岁小孩的升高数据,y中代表的是测量的升高(米),x对应的年龄
这样每一个对应的(x,y)构成一个训练集,在这个数据中共有50个训练集,我们的目标就是利用这50个数据构建线性模型。
解决这个问题我们使用梯度下降法,这个在前面已经有介绍。
初始准备:
1、导入数据
x = load('ex2x.dat');
y = load('ex2y.dat');
这个问题的输入变量就只有年龄,也就是这个问题是一个一维线性问题,具体的表达h=ax+b,规范化了也就是为下面可以方便的转向量矩阵计算表达式如下:
为了形象性的了解整个数据的分别,将怎么数据的分别画出来,
在解决这个问题之前,我们先把所有样本计算模型时的设为1,具体操作如下:
m = length(y);
x = [ones(m,1),x];
具体解决过程
下面针对这个问题实现线性回归。线性回归的模型:
批量梯度下降迭代规则是:
在我们目前这个问题当中,j=0或者1,theta的初始值为0,即,
在这里我们对于学习率,在Matlab中,索引是从1开始的,因此我们写的时候要通过theta(1) and theta(2) 来代表
和
.
重复上述迭代规则,直到收敛,这样最终求得的 和
就是我们要求得的值,这边迭代次数设为1500。
这边说一下代价函数:
前面加了1/2为了方便计算,便于求导.通过对代价函数求到计算梯度,得到上述过程。
具体代码:
>> theta = zeros(size(x(1,:)))';>> thetatheta =00>> MAX_ITR = 1500;>> alpha = 0.07;>> for num_iterations = 1:MAX_ITRgrad = (1/m).* x' * ((x * theta) - y);theta = theta - alpha .* grad;end>> thetatheta =0.75020.0639>> plot(x(:,2),y,'o');>> hold on>> plot(x(:,2), x*theta, '-')>> legend('Training data', 'Linear regression')
最终结果如下图:
最后根据得到的模型来预测3.5岁和7岁小孩的身高,则代码如下:
>> predict1 = [1,3.5] * theta
predict1 =
0.9737
>> predict2 = [1, 7] * theta
predict2 =
1.1973
为了更形象的理解整个线性回归,对代价函数进行可视化分析,具体代码如下:
>> J_vals = zeros(100, 100); % initialize Jvals to 100x100 matrix of 0's>> theta0_vals = linspace(-3, 3, 100);>> theta1_vals = linspace(-1, 1, 100);>> for i = 1:length(theta0_vals)for j = 1:length(theta1_vals)t = [theta0_vals(i); theta1_vals(j)];J_vals(i,j) = (0.5/m) .* (x * t - y)' * (x * t - y);endend>> J_vals = J_vals';>>figure;>> surf(theta0_vals, theta1_vals, J_vals);>>xlabel('\theta_0');>> ylabel('\theta_1')
得到如下图:
通过这个图,我们可以看出最小J值得时候,theta0跟theta1的大小。
另外我们可以绘制等高线,通过等高线也可以很好的理解一下。
具体效果如下图:
具体代码:
contour(theta0_vals, theta1_vals, J_vals, logspace(-2, 2, 15))
xlabel('\theta_0'); ylabel('\theta_1')
等高线不好理解的话,可以考虑一个简单的圆的方程,令半径从1开始慢慢变大,可以画出类似等高线,这样就可以清楚越往中间,代价函数值越小。
这样基本的线性回归就解决了。下面开始学习多变量的线性回归。