摘要：
实际优化问题的目标函数往往比较复杂。为了使问题简化，通常将目标函数在某点附近展开为泰勒(Taylor)**多项式来逼近原函数** 一元函数$f(x)$在$x_k$处的泰勒展开式为 $$ f(x)=f(x_k)+(x-x_k)f^\prime(x_k)+\frac{1}{2!}(x-x_k)^2f^{ 阅读全文
摘要：
# 1. 相关概念 * 优化 改变**x**以最大化、最小化某个函数f(**x**)的任务 * 目标函数、准则、代价函数、损失函数、误差函数 最大化、最小化的函数 * 用*****上标表示最大化最小化函数的**x**的值 $$ x^{*}=argminf(x) $$ # 2. 梯度下降 ## 2.1 阅读全文
摘要：
信息论 是概率论的延申，在机器学习领域，用于 * 构造目标函数 * 对算法进行理论分析和证明 # 1.熵 > 熵衡量了一个概率分布的随机性程度，或者说它包含的信息量的大小。 随机变量X取值为x的概率为p(x)，p(x)很小，而这个事件又发生了，则包含的信息量大。用h(x)表示信息量的大小，则h(x) 阅读全文