摘要： 1. 梯度：对于一元函数，梯度是导数/斜率；对于多元函数，梯度是由偏导数组成的向量 梯度的方向：是函数在给定点上升最快的方向 梯度的反方向：是函数在给定点下降最快的方向 多元函数的梯度：（偏导） 2. 梯度下降：对于给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。 函数在某一点处 阅读全文

摘要： 1. 正则化：通常在损失函数后加上一项正则化项，对模型进行干扰，以达到防止过拟合，增加模型的泛化性的目的 正则化：L1正则化 、L2正则化（权重衰减） ①L1正则化 ||w||1：权重矩阵W中各元素的绝对值之和，主要是为了构建稀疏矩阵，保留必要的特征向量，筛选掉不必要的特征向量 稀疏矩阵是指的是大多 阅读全文