随笔分类 - 数学基础

矩阵向量求导

摘要：矩阵向量求导 # 1. 定义法求导 ## 1.1 标量对向量求导实值函数**对向量的每个分量求导** ## 1.2 标量对矩阵求导实值函数**对矩阵的每个分量求导** ## 1.3 向量对向量求导 **分子向量的每一个分量对分母向量求导，也就是转换成多个标量对向量求导** 2.矩阵微分求导 3. 阅读全文

posted @ 2023-05-31 18:41 dctwan 阅读(27) 评论(0) 推荐(0) 编辑

多元函数泰勒展开式

摘要：实际优化问题的目标函数往往比较复杂。为了使问题简化，通常将目标函数在某点附近展开为泰勒(Taylor)**多项式来逼近原函数** 一元函数

f (x)

$f(x)$ 在

x_{k}

$x_k$ 处的泰勒展开式为 $$ f(x)=f(x_k)+(x-x_k)f^\prime(x_k)+\frac{1}{2!}(x-x_k)^2f^{ 阅读全文

posted @ 2023-05-30 16:22 dctwan 阅读(1564) 评论(0) 推荐(0) 编辑

优化算法

摘要：# 1. 相关概念 * 优化改变**x**以最大化、最小化某个函数f(**x**)的任务 * 目标函数、准则、代价函数、损失函数、误差函数最大化、最小化的函数 * 用*****上标表示最大化最小化函数的**x**的值

x^{*} = a r g m i n f (x)

$x^{*}=argminf(x)$ # 2. 梯度下降 ## 2.1 阅读全文

posted @ 2023-05-30 10:31 dctwan 阅读(62) 评论(0) 推荐(0) 编辑

信息论

摘要：信息论是概率论的延申，在机器学习领域，用于 * 构造目标函数 * 对算法进行理论分析和证明 # 1.熵 > 熵衡量了一个概率分布的随机性程度，或者说它包含的信息量的大小。随机变量X取值为x的概率为p(x)，p(x)很小，而这个事件又发生了，则包含的信息量大。用h(x)表示信息量的大小，则h(x) 阅读全文

posted @ 2023-05-30 10:30 dctwan 阅读(174) 评论(0) 推荐(0) 编辑