Andrew Ng机器学习编程作业: Linear Regression

编程作业有两个文件

1.machine-learning-live-scripts（此为脚本文件方便作业）

2.machine-learning-ex1（此为作业文件）

将这两个文件解压拖入matlab工作区内并将machine-learning-live-scripts内的ex1.mlx拖入到machine-learning-ex1\ex1中

在命令提示符区输入subimit命令，并填写邮箱与提交凭证来提交作业。

1.A simple MATLAB function

修改warmUpExercise.m文件，生成5*5的单位矩阵并赋给A

 A = eye(5);

2.Linear regression with one variable（单变量线性回归）

2.1 Plotting the data

通过每个城市的人口与利润数据求人口与利润的关系。

ex1data1.txt文件内包含了数据集

加载数据并将人口数据赋给X利润数据给y

data = load('ex1data1.txt'); % read comma separated data
X = data(:, 1); y = data(:, 2);

修改plotData.m文件，填写下面的绘制代码

 plot(x, y, 'rx', 'MarkerSize', 10); % Plot the data
  ylabel('Profit in $10,000s'); % Set the y-axis label
  xlabel('Population of City in 10,000s'); % Set the x-axis label

执行plotData(X,y)将会出面下面图

　　

2.2 Gradient Descent

价值函数：

假设函数：

调整参数的公式是：

每迭代一次J的值就会减少一次。所预测的模型与实际就越符合。

初始化各个变量：

m = length(X) % number of training examples
X = [ones(m, 1), data(:,1)]; % Add a column of ones to x
theta = zeros(2, 1); % initialize fitting parameters
iterations = 1500;
alpha = 0.01;

修改computeCost.m文件。填写代码，计算价值函数：

 J = (1/(2*m))*sum((X*theta-y).^2);

保存执行

computeCost(X, y, theta)　　

如果得到的值为32.07则表示计算正确。

修改gradientDescent.m文件，填写代码，用梯度下降算法计算theta值

temp = zeros(size(X,2),1);
　　for j = 1:size(X,2)
　　temp(j,1) = theta(j,1)-alpha*(1/m)*sum((X*theta-y).*X(:,j));
end
theta = temp;

文件中已经写好循环结构。记住一次迭代中，计算theta值需要用用当前的theta值，视频中已经说明

 

 绘制回归直线与训练集的线

% Run gradient descent:
% Compute theta
theta = gradientDescent(X, y, theta, alpha, iterations);

% Print theta to screen
% Display gradient descent's result
fprintf('Theta computed from gradient descent:\n%f,\n%f',theta(1),theta(2))

% Plot the linear fit
hold on; % keep previous plot visible
plot(X(:,2), X*theta, '-')
legend('Training data', 'Linear regression')
hold off % don't overlay any more plots on this figure

绘制结果：

theta可视化：

价值函数的3d视图

价值函数的等高线

3. Linear regression with multiple variables（多变量线性回归）

多变量与单变量的价值函数相同。梯度计算也类似，只是多变量线性回归每次迭代计算的theta的数量多。

拥有房子大小和卧室数量两个特征，与房子价格。求房子价格与这两个特征的关系。

导入数据

% Load Data
data = load('ex1data2.txt');
X = data(:, 1:2);
y = data(:, 3);
m = length(y);

% Print out some data points
% First 10 examples from the dataset
fprintf(' x = [%.0f %.0f], y = %.0f \n', [X(1:10,:) y(1:10,:)]');

因为房子大小与卧室数量两个值差距很大，如果直接使用梯度下降，那么收敛速度就会很慢。所以需要先进行特征缩放。

特征缩放公式：

u为对对应特征平均值，s为标准差（视频中为max-min）。

修改featureNormalize.m文件，填写代码。得到正确的平均值与标准差。可以使用mean函数计算平均值，std函数计算标准差。

mu = mean(X);
sigma = std(X);
X_norm=(X-mu)./sigma;

给X添加一列1

X = [ones(m, 1) X];

在computeCostMulti.m中填写价值函数

 J = (1/(2*m))*sum((X*theta-y).^2);

价值函数也可以用下面公式表示，计算结果一样

 

梯度下降计算theta的值将代码填入gradientDescentMulti.m文件中

 temp = zeros(size(X,2),1);
    for j = 1:size(X,2)
        temp(j,1) = theta(j,1)-alpha*(1/m)*sum((X*theta-y).*X(:,j));
    end
    theta = temp;

 计算theta的值还可是使用正规方程法。视频中有讲解

theta = pinv(X'*X)*X'*y;

预测价格：

price = [[1 ([1650 3]-mu)./sigma]*theta]

需注意，因为进行了特征缩放，所以也应该的需要预测的房子的特征进行缩放。

价格为

学习速度alpha，应该选择合适的大小。 过大可能导致价值函数不减反增。过小则会收敛太慢。