一、向量化
对于大量的求和运算，向量化思想往往能提高计算效率（利用线性代数运算库），无论我们在使用MATLAB、Java等任何高级语言来编写代码。
运算思想及代码对比
的同步更新过程向量化
向量化后的式子表示成为：
其中
是一个向量，
是一个实数，
是一个向量，所以在这里是做一个向量的减法。在将计算向量化的同时，这种运算方式使我们很好地实现了的同步更新，我自行推导了一下，体会运算过程中的同步更新是如何实现。
二、 简单一元线性回归实现
数据：是房子的大小（平方英尺）和房价（美元）之间的对应关系。
练习：Matlab实现
%简单一元线性回归练习
theta_0 = 0;
theta_1 = 0;
alpha = 0.000001;
x = [150; 200; 250; 300; 350; 400; 600];
y = [6450; 7450; 8450; 9450; 11450; 15450; 18450];
%画出点
plot(x, y, 'r*', 'MarkerSize', 8); % 5控制*的大小
hold on;
counter = 50;
[theta_0, theta_1] = gradientDescent_LOW(x, y, theta_0, theta_1, alpha, counter);
b = theta_0 + theta_1 * x;
%画出拟合直线
plot(x, b, 'b-', 'Linewidth',2); % 5控制*的大小
hold on;
xlabel('面积/平方英尺');
ylabel('房价/美元');
title('一元线性回归');
function [theta_0, theta_1] = gradientDescent_LOW(x, y, theta_0, theta_1, alpha, counter)
%此处x为向量
m = length(y); %样本数量
for iter = 1:counter
H = theta_0 + theta_1 * x; %线性假设函数
%计算代价函数输出
res = 0;
for i = 1:m
res = res + (H(i)-y(i))^2;
end
Jtheta = res/(2*m)
%更新theta_0
sum = [0;0]; %记录两个偏导部分（求和过程）
for i = 1:m
sum(1,1) = sum(1,1) + (H(i)-y(i));
end
theta_0 = theta_0 - alpha * sum(1,1)/m;
%更新theta_1
for i = 1:m
sum(2,1) = sum(2,1) + (H(i)-y(i)) * x(i);
end
theta_1 = theta_1 - alpha* sum(2,1)/ m ;
end
得到拟合图像：
提出问题：
1. 使alpha、counter取值规范
加入特征缩放后，alpha取0.03，counter = 1500。能够达到较好的拟合效果。
%特征缩放
for i = 1:length(y)
x(i) = (x(i)-min(x))/(max(x)-min(x))
y(i) = (y(i)-min(y))/(max(y)-min(y))
end
拟合图像
2. 梯度下降迭代结束标志
a) 定义一个合理的阈值，当两次迭代之间的差值小于该阈值时，迭代结束。
b) 设置一个大概的迭代步数，比如1000或500。
三、多元线性回归实现
1. 梯度下降法
数据：波士顿房价数据集（经个别剔除）共419条数据
（理论推导见上一篇笔记，直接上代码）
%test2.m
[Data] = xlsread('Boston house prise.xlsx',1,'A1:M419');
[y] = xlsread('Boston house prise.xlsx',1,'N1:N419');
[m,n] = size(Data); % m样本数量 n特征数
Data = featureScaling(Data);
y = featureScaling(y);
x0 = ones(m,1);
X = ([x0,Data])';
Theta = zeros(n+1,1);
alpha = 0.009;
counter = 1500;
Theta = gradientDescent(X, y, Theta, alpha, counter);
plot(1:m, y, 'r-', 'Linewidth',1); % 5控制*的大小
hold on;
plot(1:m, Theta'*X, 'b-', 'Linewidth',1); % 5控制*的大小
hold on;
xlabel('样例序号');
ylabel('房价');
title('梯度下降-波士顿房价预测');
legend('真实值','预测值');
%梯度下降（矢量化）
function [Theta] = gradientDescent(X, y, Theta, alpha, counter)
% X Theta 均为矩阵
[m,n] = size(X); % m样本数量 n特征数
J_history = zeros(counter, 1);
for iter = 1:counter
H = Theta' * X; %线性假设函数
Delta = 1/m * X *(H'-y);
Theta = Theta - alpha * Delta;
% 保存下所有J，可以查看收敛情况
res = 0;
for i = 1:m
res = res + (H(i)-y(i))^2;
end
J_history(iter) = res/(2*m);
end
J_history
end
%特征放缩
function [X] = featureScaling(X)
%X 为矩阵，每一列为一组特征值
[m,n] = size(X);
for j = 1:n
for i = 1:m
X(i,j) = (X(i,j)-min(X(:,j)))*1/(max(X(:,j))-min(X(:,j)));
end
end
2. 正规方程法
（理论部分见上一篇笔记）
[X] = xlsread('Boston house prise.xlsx',1,'A1:M419');
[y] = xlsread('Boston house prise.xlsx',1,'N1:N419');
theta = pinv(X'* X)* X'*y
[m,n] = size(X); % m样本数量 n特征数
plot(1:m, y, 'r-', 'Linewidth',1);
plot(1:m, theta'*X', 'b-', 'Linewidth',1);
输出结果：
梯度下降法 正规方程法
总结：
1. 在运算中多用矢量化的思想。
2. 在多元线性回归的实现中，随着参数的增多，愈加体现出在梯度下降法当中，参数和初始值选择对结果是有很大影响的。
3. 在本次用波士顿房价数据进行实验的过程中，正规方程法的拟合效果优于梯度下降法。
