08 2024 档案
摘要：第 3 章 深度学习基础 3.3 自适应学习率 随着迭代次数增多，虽然损失不再下降，但是梯度的范数并没有真的变得很小。 学习率过大，在陡峭的地方，梯度会在临界点附近震荡（山谷之间）；学习率过低，到达平缓的地方训练速度会变慢。 在梯度下降里面，所有的参数都是设同样的学习率，这显然是不够的，应该要为每一
阅读全文
摘要：第 1 章 机器学习基础 1.2 线性模型 把输入的特征 乘上一个权重 ，再加上一个偏置 就得到预测的结果，这样的模型称为线性模型（linear model）。 e.g. 根据前七天的观看数据推测接下来的观看数据，模型为： \[y = b + \sum_{j
阅读全文
摘要：第 3 章 深度学习基础 3.2 批量和动量 3.2.1 批量大小对梯度下降法的影响 每次在更新参数的时候，并不是对所有数据的损失 计算梯度，而是把所有的数据分成一个一个的包含等量数据的批量（batch），每次取出一个批量用来计算出损失和梯度更新参数。 遍历所有批量的过程称为一个回合（e
阅读全文
摘要：第 3 章 深度学习基础 3.1 局部极小值与鞍点 3.1.1 临界点及其种类 临界点（critical point）：梯度为零的点 极值（minimum & maximum）：全局极值与局部极值 鞍点：梯度是零且区别于局部极小值和局部极大值（localmaximum）的点 3.1.2 判断临界值种
阅读全文
摘要：第 1 章 机器学习基础 机器学习（Machine Learning）：让机器具备找一个函数的能力，使得机器能够使用这个函数完成不同的事。 回归（regression）：要找的函数的输出是一个数值，一个标量（scalar） 分类（classification）：要找的函数的输出是针对输入从设定好的类
阅读全文
