筷点雪糕侠

2022年4月6日

摘要： 1.距离计算给定样本

x_{i} = (x_{i 1}, x_{i 2}, . . ., x_{i n}), x_{j} = (x_{j 1}, x_{j 2}, . . ., x_{j n})

$x_i=(x_{i1},x_{i2},...,x_{in}),x_j=(x_{j1},x_{j2},...,x_{jn})$ 连续属性的距离计算闵可夫斯基距离 \(dist_{mk}(x_i,x_j)=(\sum\limits_{u=1}^{n}|x_{iu}-x_{ 阅读全文

posted @ 2022-04-06 21:59 筷点雪糕侠阅读(46) 评论(0) 推荐(0) 编辑

2022年4月5日

高斯过程

摘要：高斯过程描述

1. 这 里 假 定 有 人 的 一 生 ， x 轴 是 对 应 的 时 间 (t_{1}, t_{2}, . . ., t_{100}) ， 0 - 100 岁 ， y 轴 是 表 现 值 (姑 且 这 么 定)

$1.这里假定有人的一生，x轴是对应的时间(t_1,t_2,...,t_{100})，0-100岁，y轴是表现值(姑且这么定)$ \(2.每个时间点上都有一个对应的表现值随机变量(\xi_{t_1}，\xi_{t_2}...),这些都是随机变量，也就是是一个概率分布，所以每个点上都阅读全文

posted @ 2022-04-05 16:18 筷点雪糕侠阅读(203) 评论(0) 推荐(0) 编辑

2022年3月30日

PRML-5.3.1 误差函数的反向传播，导数的计算

摘要：书上的图5.7介绍了神经网络的结构但是图过于简单，对于推导公式很不利，很难理解，我对原图做了一些修改和扩展，方便大家理解首先看下图上的一些标记说明

1. 共 三 层 神 经 元 ， i 层 (共 I 个 神 经 元) ， j 层 (共 J 个 神 经 元) ， k 层 (共 K 个 神 经 元) ， 可 以 理 解 为 i 层 是 输 入 层 ， k 层 是 输 出 层 ， j 层 是 隐 藏 层

$1.共三层神经元，i层(共I个神经元)，j层(共J个神经元)，k层(共K个神经元)，可以理解为i层是输入层，k层是输出层，j层是隐藏层$ \( 阅读全文

posted @ 2022-03-30 11:35 筷点雪糕侠阅读(217) 评论(0) 推荐(1) 编辑

2022年3月27日

PRML-4.1 判别函数

摘要： 1.概念判别式是一个使用输入向量

x

$x$ 并把它分配给

K

$K$ 种分类的其中一种

C_{k}

$C_k$ 的函数。本章中，我们把我们的讨论局限于线性判别式（linear discriminants），即那些决策面是超平面的判别函数。为了简化讨论，我们首先考虑二分类的情况，再推广到

K > 2

$K > 2$ 的情形。 #2 二分类线性阅读全文

posted @ 2022-03-27 16:59 筷点雪糕侠阅读(266) 评论(0) 推荐(0) 编辑

PRML-4 分类的线性模型

摘要：一些记号

1. 输 入 变 量

$1.输入变量$

x

$x$

2. 分 类

$2.分类$

C_{k}, k = 1, 2, . . ., K, 共 K 个 离 散 值

$C_k,k=1,2,...,K,共K个离散值$

3. 决 策 边 界 / 决 策 面 / 决 策 区 域

$3.决策边界/决策面/决策区域$

D 维 输 入 空 间 中 的 (D - 1) 维 超 平 面

$D维输入空间中的(D − 1)维超平面$

y (x) = c o n s t a n t ， 即 w^{T} x + w_{0} = c o n s t a n t

$y(x) = constant ，即w^T x + w_0 = constant$ \(4 阅读全文

posted @ 2022-03-27 09:58 筷点雪糕侠阅读(53) 评论(0) 推荐(0) 编辑

2022年3月26日

拟牛顿法,DFP,BFGS,SR-1

摘要： 1.拟牛顿法思想考虑

f (x)

$f(x)$ 在当前是

x^{k}

$x^k$ 处的二次函数

m_{k} (x) := f (x^{k}) + \nabla f (x^{k})^{T} (x - x^{k}) + \frac{1}{2} (x - x^{k})^{T} B_{k} (x - x^{k})

$m_k(x):=f(x^k)+\nabla f(x^k)^T(x-x^k)+\frac{1}{2}(x-x^k)^TB_k(x-x^k)$ 其中

B_{k} ≻ 0

$B_k\succ 0$ 利用min

m_{k} (x)

$m_k(x)$ 得方向,\(d^k=-B_k^ 阅读全文

posted @ 2022-03-26 17:25 筷点雪糕侠阅读(374) 评论(0) 推荐(0) 编辑

Newton法

摘要：崔雪婷最优化基础理论与方法 3.2章节 1.目标无约束优化问题

m i n f (x), x \in R^{n}

$min\ f(x),x\in R^n$ 其中

f (x)

$f(x)$ 是二阶可微的 2.牛顿法的思想设

x^

$x^$ 是局部解，则

x^

$x^$ 满足

\nabla f (x) = 0

$\nabla f(x)=0$ 选取初始点

x 1

$x1$ ,在

x 1

$x1$ 出按照泰勒展开，取二次近似多项式 \ 阅读全文

posted @ 2022-03-26 10:36 筷点雪糕侠阅读(165) 评论(0) 推荐(0) 编辑

2022年3月23日

Fisher线性判别分析

摘要：案例说明案例

以 下 两 个 维 度 比 较 在 不 同 温 度 下 冶 炼 的 钢 铁 群 体

$以下两个维度比较在不同温度下冶炼的钢铁群体$

Y_{1} 代 表 钢 铁 击 穿 点 (y i e l d p o i n t)

$Y_1代表钢铁击穿点(yield point)$

Y_{2} 代 表 钢 铁 强 度 (u l t i m a t e s t r e n g t h)

$Y_2代表钢铁强度(ultimate\quad strength)$

温 度 1

$温度1$

y_{1}

$y_1$

y_{2}

$y_2$ 33 60 36 61 35 64 38 63 40 阅读全文

posted @ 2022-03-23 21:59 筷点雪糕侠阅读(559) 评论(0) 推荐(0) 编辑

PRML-第三章节思维导图关系梳理

摘要：本章节中的一些概念跳来跳去，比较复杂，一些概念如条件概率，最大似然，先验分布，后验分布，预测分布，证据函数，这些关系都梳理到了思维导图中， 3.线性回归模型基函数模型基函数种类高斯基函数多项式基函数傅里叶基函数 sigmod基函数回归函数最大似然求解析解条件分布:假设：噪声是正态分布阅读全文

posted @ 2022-03-23 11:08 筷点雪糕侠阅读(135) 评论(0) 推荐(0) 编辑

2022年3月22日

PRML-3.5 证据近似

摘要： 3.5证据近似解决两个超参数

α, β

$\alpha,\beta$ 如果我们引入

α, β

$\alpha, \beta$ 上的超先验，那么预测分布可以通过边缘化

w, α, β

$w,\alpha,\beta$ 来获得： $ p(t|\textbf{t})=\int\int\int p(t|w,\beta)p(w|\textbf{t},\ 阅读全文

posted @ 2022-03-22 23:39 筷点雪糕侠阅读(306) 评论(0) 推荐(0) 编辑

公告

搜索

常用链接

随笔分类 (133)

随笔档案 (126)

阅读排行榜

评论排行榜

推荐排行榜

最新评论