【机器学习】多变量线性回归

合集 - 机器学习(10)

1.【机器学习】单变量线性回归2023-07-30

2.【机器学习】多变量线性回归2023-07-31

3.【机器学习】逻辑回归2023-07-314.【机器学习】正则化2023-07-315.【机器学习】神经网络2023-07-316.【机器学习】softmax回归2023-07-317.【机器学习】决策树2023-07-318.【机器学习】K-Means2023-07-319.【机器学习】协同过滤2023-07-3110.Numpy，一篇足以2023-08-01

收起

1|0Liner Regression with Multiple Variable

用向量实现的代码，单变量和多变量可以共用

多变量线性回归相当于是单变量的扩展，主要还是按照模型假设、构造代价函数和研究代价函数的最小值这样的思路展开。

与单变量线性回归不同的是，多变量线性回归还可能涉及到特征缩放的问题，主要原因是存在着不同尺度的特征变量，为了使得梯度下降能够快速地收敛，需要将这些特征变量统一尺度（类似于归一化的思想）

相比于单变量线性回归，多变量线性回归在求解代价函数的特征方程时，除了可以使用梯度下降法，还可以使用正则方程。根据特征变量的多少，灵活地选择这两种方法。

1|1线性回归模型

1|0数学表达式

$$f_{\vec{w}, b}(\vec{x}) = w_1x_1+…+w_nx_n+b$$

or

$$f_{\mathbf{w},b}(\mathbf{x}) = \mathbf{w} \cdot \mathbf{x} + b$$

$$\mathbf{X} = \begin{pmatrix} x^{(0)}_0 & x^{(0)}_1 & \cdots & x^{(0)}_{n-1} \\ x^{(1)}_0 & x^{(1)}_1 & \cdots & x^{(1)}_{n-1} \\ \cdots \\ x^{(m-1)}_0 & x^{(m-1)}_1 & \cdots & x^{(m-1)}_{n-1} \end{pmatrix}$$

$$\mathbf{w} = \begin{pmatrix} w_0 \\ w_1 \\ \cdots \\ w_{n-1} \end{pmatrix}$$

1|2Feature scaling

当参数的差距在几个数量级时或参数导致模型溢出时，需要缩放特征，以提高梯度下降的速度

1|0数学表达式

Feature scaling	Mean normalization	Z-score normalization
$x_{j, scaled} = \frac{x_j} {max},x_j \in [0,1]$	$x_{j} = \frac{x_j - \mu_j}{max - min},x_j \in [-1, 1]$	$x_j = \frac{x_j - \mu_j}{\sigma_j},x_j \in [-3,3]$

1|0代码

def zscore_normalize_features(X):
    """
    computes  X, zcore normalized by column
    
    Args:
      X (ndarray): Shape (m,n) input data, m examples, n features
      
    Returns:
      X_norm (ndarray): Shape (m,n)  input normalized by column
      mu (ndarray):     Shape (n,)   mean of each feature
      sigma (ndarray):  Shape (n,)   standard deviation of each feature
    """
    # find the mean of each column/feature
    mu     = np.mean(X, axis=0)                 # mu will have shape (n,)
    # find the standard deviation of each column/feature
    sigma  = np.std(X, axis=0)                  # sigma will have shape (n,)
    # element-wise, subtract mu for that column from each example, divide by std for that column
    X_norm = (X - mu) / sigma      

    return (X_norm, mu, sigma)

1|3Cost Function

1|0数学表达式

$$J(w_1,…,w_n,b)$$

1|4Gradient Descent

1|0数学表达式

$$\begin{align*} \text{repeat}&\text{ until convergence:} \; \lbrace \newline\; & w_j = w_j - \alpha \frac{\partial J(\mathbf{w},b)}{\partial w_j} & \text{for j = 0..n-1}\newline &b\ \ = b - \alpha \frac{\partial J(\mathbf{w},b)}{\partial b} \newline \rbrace \end{align*}$$

1|5Normal equation

仅适用于线性回归 && 求解时不迭代

__EOF__

本文作者：MrFeng
本文链接：https://www.cnblogs.com/MrFeng2997/p/17592014.html
关于博主：评论和私信会在第一时间回复。或者直接私信我。
版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！