00 数学基础 - 随笔分类 - ldfm

【多视图几何】1. 概论

摘要：1. 欧式空间和射影空间欧式空间可以由射影空间导出。例：2D射影空间可以表示具有无穷远的平面，表示范围包含2d欧式空间；3d 同理。欧式空间 -> 射影空间将坐标转换为齐次（homogeneous）坐标（升维，齐次坐标表示一类性质相同坐标簇）在二维欧式平面添加无穷远线（三维欧式空间添阅读全文

posted @ 2025-02-26 19:01 ldfm 阅读(5) 评论(0) 推荐(0) 编辑

最优化算法4.0【信赖域方法】

摘要：思路：线搜索最优化算法，一般是先确定迭代方向（下降方向），然后确定迭代步长；信赖域方法直接求得迭代位移；算法分析第

k

$k$ 次迭代，确定迭代位移的问题为(信赖域子问题)：

m i n q_{k} (d) = g_{k}^{T} d + \frac{1}{2} d^{T} B_{k} d_{k}

$min q_k(d)=g_k^Td+\frac{1}{2}d^TB_kd_k$ \(s.t.\quad ||d||\le 阅读全文

posted @ 2020-08-22 14:36 ldfm 阅读(1485) 评论(0) 推荐(0) 编辑

最优化算法3.2【拟牛顿法-BFGS算法】

摘要：特点相较于：最优化算法3【拟牛顿法1】 BFGS算法使用秩二矩阵校正hesse矩阵的近似矩阵

B

$B$ ,即：

B_{k + 1} = B_{k} + α μ_{k} μ_{k}^{T} + β ν_{k} ν_{k}^{T}

$B_{k+1}=B_k+\alpha\mu_k\mu_k^T+\beta\nu_k\nu_k^T$ 算法分析将函数在

x_{k + 1}

$x_{k+1}$ 处二阶展开： \(f(x)=f(x_{k+1}) 阅读全文

posted @ 2020-08-21 10:03 ldfm 阅读(1232) 评论(0) 推荐(0) 编辑

最优化算法3【拟牛顿法1】

摘要：牛顿法存在的问题计算量大，每次都需要计算HESSE矩阵，对于自变量维数较高的优化函数，计算量是相当大的； HESSE矩阵可能存在不正定的问题，此时求得的迭代方向可能不是下降方向；为了解决上述问题，需要求HESSE矩阵近似矩阵

B

$B$ 算法分析将函数在

x_{k + 1}

$x_{k+1}$ 处二阶展开： \(f(x)= 阅读全文

posted @ 2020-08-20 18:57 ldfm 阅读(288) 评论(0) 推荐(0) 编辑

最优化算法【共轭梯度法】

摘要：特点：具有超线性收敛速度，只需要计算梯度，避免计算二阶导数算法步骤

s t e p 0 :

$step0:$ 给定初始值

x_{0}

$x_0$ ,容许误差

ϵ

$\epsilon$

s t e p 1 :

$step1:$ 计算梯度

g_{k} = \nabla f (x_{k})

$g_k=\nabla f(x_k)$ ,if

n o r m (g_{k}) <= ϵ

$norm(g_k)<=\epsilon$ ，

b r e a k;

$break;$ 输出当前阅读全文

posted @ 2020-08-09 18:56 ldfm 阅读(1543) 评论(0) 推荐(0) 编辑

牛顿算法及其改进【阻尼牛顿法、修正牛顿法】

摘要：牛顿算法对于优化函数

f (x)

$f(x)$ ,

x = (x_{1}; x_{2}; . . .; x_{n})

$x=(x_1;x_2;...;x_n)$ ,二阶连续可导在

x_{k}

$x_k$ 处泰勒展开，取前三项，即对于优化函数二阶拟合

f (x) = f (x_{k}) + g_{k} (x - x_{k}) + \frac{1}{2} (x - x_{k}) G_{k} (x - x_{k})

$f(x)=f(x_k)+g_k(x-x_k)+\frac{1}{2}(x-x_k)G_k(x-x_k)$ 其中$g_k=\nabla f( 阅读全文

posted @ 2020-08-08 22:50 ldfm 阅读(3921) 评论(0) 推荐(0) 编辑

变步长梯度下降法

摘要：关于最优化算法的框架见最优化算法确定迭代步长【线搜索技术】迭代公式

x_{k + 1} = x_{k} + α_{k} d_{k}

$x_{k+1}=x_k+\alpha_kd_k$ 其中

α_{k}

$\alpha_k$ 为第k次迭代步长，

d_{k}

$d_k$ 为第k次迭代方向；变步长梯度下降法就是每次迭代，步长都需要计算定步长梯度下降发每次步长都为定值；算法见最优化算法【最小二阅读全文

posted @ 2020-08-05 22:48 ldfm 阅读(1361) 评论(0) 推荐(0) 编辑

最优化算法确定迭代步长【线搜索技术】

摘要：无约束问题最优化算法框架

s t e p 0 :

$step0:$ 输入优化函数，确定迭代起始点x0,容许误差 epsilon；

s t e p 1 :

$step1:$ if 容许误差条件满足，终止迭代；输出当前x值； else 计算迭代方向dk；迭代步长 alpha_k; // dk必须满足收敛条件；关于迭代步长的计算，就是线搜索技术阅读全文

posted @ 2020-08-05 17:14 ldfm 阅读(1342) 评论(0) 推荐(0) 编辑

最优化算法【线搜索-黄金分割（0.618）算法】

摘要：使用条件优化函数在搜索区间内为单峰函数算法算法类似于二分查找算法，能够求单峰函数在搜索区间的极值算法如下：

s t e p 0 :

$step0:$

$\qquad$ 确定单峰函数

f (x) \(的 搜 索 区 间 \) [a_{0}, b_{0}] \(； 容 错 误 差 \) δ = a - b

$f(x)$的搜索区间$[a_0,b_0]$；容错误差$\delta=a-b$ ,

ϵ = f (b) - f (a)

$\epsilon=f(b)-f(a)$ 阅读全文

posted @ 2020-08-04 15:45 ldfm 阅读(1612) 评论(0) 推荐(0) 编辑

最优化算法【牛顿法、拟牛顿法、BFGS算法】

摘要：一、牛顿法对于优化函数

f (x)

$f(x)$ ，在

x_{0}

$x_0$ 处泰勒展开，

f (x) = f (x_{0}) + f^{^{'}} (x_{0}) (x - x_{0}) + o (Δ x)

$f(x)=f(x_0)+f^{'}(x_0)(x-x_0)+o(\Delta x)$ 去其线性部分，忽略高阶无穷小，令

f (x) = 0

$f(x) = 0$ 得：

x = x_{0} - \frac{f (x_{0})}{f^{^{'}} (x_{0})}

$x=x_0-\frac{f(x_0)}{f^{'}(x_0)}$ 得牛顿法迭代公阅读全文

posted @ 2020-07-31 21:24 ldfm 阅读(1217) 评论(0) 推荐(0) 编辑

最优化算法【最小二乘法和梯度下降法】

摘要：##一、最小二乘法对于给定的数据集

D = (x_{1}, y_{1}), (x_{2}, y_{2}), . . ., (x_{m}, y_{m})

$D = {(x_1,y_1),(x_2,y_2), ...,(x_m,y_m)}$ ，其中

x_{i} = (x_{;} x_{;} . . .; x_{)}

$x_i=(x_;x_; ...;x_)$ 。对上述数据进行拟合：

f (x_{i}) = {\hat{ω}}^{T} \hat{x_{i}}

$f(x_i)= \hat \omega^T \hat{x_i}$ 其中：\(\hat\omega = 阅读全文

posted @ 2020-07-29 21:55 ldfm 阅读(1191) 评论(0) 推荐(0) 编辑

机器学习（周志华老师）决策树习题4.3

摘要：建立决策树参考： "ID3决策树" 绘图子程序 "python绘制决策树" 效果阅读全文

posted @ 2020-05-16 15:28 ldfm 阅读(1226) 评论(0) 推荐(0) 编辑

LDA（线性判别分析）【python实现】

摘要：原理求解最佳投影方向，使得同类投影点尽可能的进，异类投影点尽可能的远同类投影点距离用同类样本协方差矩阵表示

ω^{T} Σ_{i} ω 第 i 类 样 本 协 方 差

$\omega^T \Sigma_i \omega \quad {第i类样本协方差}$ 异类投影点距离 $$ ||\omega^T\mu_0 \omega^T\mu_1||_2^2$ 阅读全文

posted @ 2020-05-03 19:01 ldfm 阅读(921) 评论(0) 推荐(0) 编辑

Logisitic Regression（对率回归/逻辑回归)【python实现】

摘要：#名为回归，其实为一种分类算法数据集：

D = {x_{i}, y_{i}} i = 1, 2, . . ., n

$D = \lbrace x_i, y_i \rbrace i = 1, 2 , ..., n$ 其中

x_{i} = (x_{i 1}; x_{i 2}; . . .; x_{i m})

$x_i = (x_{i1}; x_{i2}; ...; x_{im})$ 即每个样本有m个属性 $$ y_i = \begin 1 , & \t 阅读全文

posted @ 2020-05-02 23:09 ldfm 阅读(770) 评论(0) 推荐(0) 编辑

回归分析_L1正则化（LASSO回归）【python实现】

摘要：对于2个变量的样本回归分析，L2和L1正则化基本相同，仅仅正则化项不同 LASSO回归为在损失函数加入

| | ω | |_{1}

$||\omega||_1$ ,

ω

$\omega$ 的1范数而岭回归为

| | ω | |_{2}^{2}

$||\omega||_2^2$ ，

ω

$\omega$ 的2范数 *矩阵、向量范数 *L1正则化（岭回归） #LASSO 阅读全文

posted @ 2020-04-30 22:52 ldfm 阅读(2622) 评论(0) 推荐(0) 编辑

回归分析_L2正则化（岭回归）【python实现】

摘要：样本

x_{i} = (x_{i 1}; x_{i 2}; . . .; x_{i m}) 函 数 值 y_{i}

$x_i=(x_{i1};x_{i2}; ...; x_{im}) \, {函数值 y_i}$ 每个样本有m个变量回归面

f (x_{i}) = x_{i}^{T} ω + b

$f(x_i) = x_i^T \omega +b$

ω = (ω_{1}; ω_{2}; . . .; ω_{m})

$\omega = (\omega_1; \omega_2; ...; \omega_m)$ $$\hat 阅读全文

posted @ 2020-04-30 17:01 ldfm 阅读(1299) 评论(0) 推荐(0) 编辑

向量、矩阵的范数/模（norm）

摘要：norm：翻译为模或者内积，广义来说是一个函数 vector（向量） norms 1. eculidean（欧几里得）norm vector

x = (x_{1}; x_{2}; . . .; x_{n})

$x = (x_1;x_2; ...; x_n)$ 其eculidean norm为：\(||x|| = \sqrt{x^T x} = (\sum_{i 阅读全文

posted @ 2020-04-29 20:28 ldfm 阅读(6533) 评论(0) 推荐(0) 编辑

线性回归（python实现）

摘要：数据集：

D = {(x_{1}, y_{1}), (x_{2}, y_{2}), . . ., (x_{m}, y_{m})}

$D=\lbrace (x_1,y_1),(x_2,y_2),...,(x_m,y_m)\rbrace$ 其中：

x_{i} = (x_{i 1}; x_{i 2}; . . .; x_{i d})

$x_i = (x_{i1};x_{i2};...;x_{id})$ 单属性，二分类分类面：

f (x) = ω x + b

$f(x)= \omega x + b$ 最小均方差求$\omega 阅读全文

posted @ 2020-04-27 18:34 ldfm 阅读(924) 评论(0) 推荐(0) 编辑

有点锋芒

随笔分类 - 00 数学基础

公告

常用链接

我的标签

积分与排名

随笔分类 (56)

随笔档案 (68)

阅读排行榜

评论排行榜

推荐排行榜

最新评论