摘要：
无约束优化的常见算法 无约束优化问题可以表示为： $min_{\theta} L(\theta)$ 其中目标函数 $L(\cdot)$ 是光滑的。如何针对不同的目标函数，不同的应用场景求解一个无约束优化问题是机器学习领域的关注点。 经典的优化算法可以分为直接法和迭代法两大类。 直接法 直接法，就是能 阅读全文
摘要：
有监督学习涉及的常用损失函数及其特点 有监督学习中，损失函数刻画了模型和训练样本之间的匹配程度。 常用的损失函数有：0-1 损失函数，合页损失函数，对数损失函数，平方损失函数，绝对损失函数，Huber 损失函数等。下面分别介绍几个损失函数。 0-1 损失函数 对于二分类问题，希望分类器输出的值与样本 阅读全文