摘要：
梯度下降（gradient descent），是一种用于最优化（通常是最小化），代价函数/损失函数/目标函数/误差函数/准则，的方法。 不过，最值有时很难找到，尤其是在高维情况下，所以常常把局部最优解看作全局最优解。 1、导数 f(x)在x处的斜率。 2、临界点（critical point）/驻点 阅读全文
摘要：
数值计算，通过迭代来更新解的估计值。 1、上溢和下溢 实数按照一定的精度存储在计算机中，通常存在误差，进而可能导致一些错误。 1）下溢（underflow），例如接近0的数 2）上溢（overflow）， 2、约束优化 约束优化（constrained optimization）， 阅读全文