摘要： 优化算法：小批量随机梯度下降 每次随机选择小样本，求小批量数据样本的平均损失函数的导数，修改模型参数。 矢量计算： 那么预测表达式为 y^ = XW + b In [1]: %matplotlib inline from IPython import display from matplotlib 阅读全文

摘要： 函数 f ，输入的是一个 n 维向量 x = [x1,x2,...,xn]T，输出是一个标量。 函数 f 关于 x 的梯度就是一个 n 个偏导数组成的向量： 例如： 其中 x = [x1,x2,x3,x4]T，那么 y = 2(x1*x1+x2*x2+x3*x3+x4*x4)； 关于 x 的偏导数求 阅读全文

摘要： 范数：n 维向量 (x1,x2,x3,...,xn)T 的 Lp 范数为： L1范数：各元素绝对值之和 L2范数：各元素平方开根号 （nd.norm()） 矩阵的 Frobenius范数为个元素平方和开根号 阅读全文