PRML - 随笔分类(第2页) - 筷点雪糕侠

摘要：局部变分方法利用局部信息进行变分推断寻找上界或者下界

比 如 我 们 有 要 求 概 率 P ， P 可 以 分 解 成 多 个 因 子 p_{i} 的 连 乘 积 ， 那 么 取 出 一 个 p_{j}, 用 一 个 {\tilde{p}}_{j} 取 作 为 p_{j} 的 下 界 ， 使 得 p = \prod p_{i} \geq {\tilde{p}}_{j} \prod_{i \neq j} p_{i}

$比如我们有要求概率P，P可以分解成多个因子p_i的连乘积，那么取出一个p_j ,用一个\tilde p_j取作为p_j的下界，使得p=\prod p_i \ge \tilde p_j \prod_{i\ne j} p_i$ \(f(x)是阅读全文

posted @ 2022-03-12 17:41 筷点雪糕侠阅读(70) 评论(0) 推荐(0) 编辑

PRML-10 变分推断-1

摘要：为什么需要近似推断现在棘手的问题在于

1. 计 算 给 定 观 察 x 后 的 隐 变 量 z 和 参 数 θ 的 后 验 分 布 计 算

$1.计算给定观察x后的隐变量z和参数\theta的后验分布计算$

2. 计 算 观 测 变 量 的 边 缘 分 布

$2.计算观测变量的边缘分布$ 两种方法达到近似推断 1.决定性方法，-有解析解，快速，但是求出的是局部解 2.随机性方法，-慢，要采样多次，但是可以得到全局解(有证明的) 决定性推断阅读全文

posted @ 2022-03-12 10:52 筷点雪糕侠阅读(330) 评论(0) 推荐(0) 编辑

PRML-2.4 指数族分布

摘要：1.指数族分布的标准形式

p (x | η) = h (x) g (η) e x p {η^{T} u (x)}

$p(x|\eta) = h(x)g(\eta)exp\{\eta^Tu(x)\}$

B 站 白 板 推 导 也 有 一 个 指 数 族 分 布 标 准 形 式 ， 两 者 是 等 价 的

$B站白板推导也有一个指数族分布标准形式，两者是等价的$

p (x | η) = h (x) e x p {η^{T} ϕ (x) - A (η)}

$p(x|\eta) = h(x)exp\{\eta^T\phi(x)- A(\eta)\}$ \(这里的u(x)=\ 阅读全文

posted @ 2022-03-09 22:52 筷点雪糕侠阅读(298) 评论(0) 推荐(0) 编辑

PRML-1.61 相对熵和互信息

摘要：#1.相对熵,KL散度

真 实 分 布 p (x), 近 似 分 布 q (x) 对 其 建 模, 则 分 布 p (x), q (x) 之 间 的 相 对 熵 / K L 散 度 为

$真实分布p(x),近似分布q(x)对其建模,则分布p(x),q(x)之间的相对熵/KL散度为$ 注意KL

(p | | q) \neq

$(p||q)\ne$ KL

(q | | p)

$(q||p)$ ,相对熵不是一个对称量

K L 散 度 可 以 看 做 是 两 个 分 布 p (x) 和 q (x) 之 间 不 相 似 程 度 的 度 量

$KL散度可以看做是两个分布p(x)和q(x)之间不相似程度的度量$ #2.KL散度的近似公式阅读全文

posted @ 2022-02-19 13:22 筷点雪糕侠阅读(38) 评论(0) 推荐(0) 编辑

PRML-1.5 信息论

摘要：#1.信息熵

对 于 信 息 内 容 的 度 量 依 赖 于 概 率 分 布 p (x) ， 我 们 想 要 找 到 这 么 一 个 函 数 h (x) ， 要 满 足

$对于信息内容的度量依赖于概率分布p(x)，我们想要找到这么一个函数h(x)，要满足$

1. 它 是 概 率 p (x) 的 单 调 递 增 函 数

$1.它是概率p(x)的单调递增函数$ \(2.如果我们有两个不相关的事件x和y,我们观察到两个事件同时发⽣时获得的信息应该等于观察到事件各⾃发⽣时获得的信息之和，即h(x, y) = h( 阅读全文

posted @ 2022-02-18 23:32 筷点雪糕侠阅读(102) 评论(0) 推荐(0) 编辑

PRML-1.5.5 回归问题的损失函数

摘要：#1.损失函数

我 们 造 成 了 ⼀ 个 损 失 L (t, y (x)) 。 平 均 损 失 （ 或 者 说 期 望 损 失 ） 就 是

$我们造成了⼀个损失L(t, y(x))。平均损失（或者说期望损失）就是$

E [L] = \int \int L (t, y (x)) p (x, t) d x d t

$\mathbb{E}[L]=\int\int L(t,y(x))p(x,t)dxdt$

一 般 损 失 函 数 定 义 为

$一般损失函数定义为$ 平方损失

L (t, y (x)) = {y (x) - t}^{2}

$L(t,y(x))=\{y(x)-t\}^2$ \(损失函数可以写成阅读全文

posted @ 2022-02-18 08:49 筷点雪糕侠阅读(128) 评论(0) 推荐(0) 编辑

PRML-公式推导 1.88

摘要：https://biggerhao.github.io/blog/2018/02/PRML-1-88/ 原文回顾在回归问题中，我们需要选择一个估计函数

y (x)

$y(\mathbf{x})$ ，来对每个输入

x

$\mathbf{x}$ 预测其对应的值

t

$t$ 。这样做就会导致损失 \(L(t, y( 阅读全文

posted @ 2022-02-18 08:21 筷点雪糕侠阅读(237) 评论(0) 推荐(0) 编辑

PRML-1.5.4 推断和决策

摘要：

事 实 上 ， 我 们 可 以 区 分 出 三 种 不 同 的 ⽅ 法 来 解 决 决 策 问 题 ， 这 三 种 ⽅ 法 都 已 经 在 实 际 应 ⽤ 问 题 中 被 使 ⽤ 。 这 三 种 ⽅ 法 按 照 复 杂 度 降 低 的 顺 序 给 出 ：

$事实上，我们可以区分出三种不同的⽅法来解决决策问题，这三种⽅法都已经在实际应⽤问题中被使⽤。这三种⽅法按照复杂度降低的顺序给出：$ 判别式和生成式简单点说，生成式算出的是概率，哪个概率大，属于哪个分类判别式就是输出具体的类别，没有概率上图左边为判别式模型而右边为生成式模型，可以很清晰阅读全文

posted @ 2022-02-17 22:39 筷点雪糕侠阅读(64) 评论(0) 推荐(0) 编辑

PRML-公式推导-1.70 1.71 1.72

摘要：https://www.cnblogs.com/wacc/p/5495448.html 贝叶斯线性回归问题背景：为了与PRML第一章一致，我们假定数据出自一个高斯分布： \[p(t|x,\mathbf{w},\beta)=\mathcal{N}(t|y(x,\mathbf{w}),\beta^{ 阅读全文

posted @ 2022-02-17 18:30 筷点雪糕侠阅读(97) 评论(0) 推荐(0) 编辑

PRML-公式推导- 1.68

摘要：1.摘抄1-老外的一些解释 https://stats.stackexchange.com/questions/305078/how-to-compute-equation-1-68-of-bishops-book I was treating the problem as having four 阅读全文

posted @ 2022-02-17 08:52 筷点雪糕侠阅读(122) 评论(0) 推荐(0) 编辑

PRML-1.2.6 贝叶斯曲线拟合

摘要：#一些记号和回顾 |参数 | 含义 | | | : | |

N

$N$ | 样本量 | |

x = (x_{1}, . . ., x_{N})^{T}

$x=(x_1,...,x_N)^T$ |

样 本 数 据 集

$样本数据集$ | |

t = (t_{1}, . . ., t_{N})^{T}

$t=(t_1,...,t_N)^T$ |

样 本 的 目 标 数 据 集

$样本的目标数据集$ | |\(p(x\|\mu,\sigma^2)=\prod\limits_ 阅读全文

posted @ 2022-02-17 08:27 筷点雪糕侠阅读(538) 评论(0) 推荐(0) 编辑

PRML-1.2.5 重新考察曲线拟合问题-曲线拟合的贝叶斯方法

摘要：#1.一些记号和回顾 |参数 | 含义 | | | : | |

N

$N$ | 样本量 | |

x = (x_{1}, . . ., x_{N})^{T}

$x=(x_1,...,x_N)^T$ |

样 本 数 据 集

$样本数据集$ | |

t = (t_{1}, . . ., t_{N})^{T}

$t=(t_1,...,t_N)^T$ |

样 本 的 目 标 数 据 集

$样本的目标数据集$ | |\(p(x\|\mu,\sigma^2)=\prod\limit 阅读全文

posted @ 2022-02-14 23:06 筷点雪糕侠阅读(135) 评论(0) 推荐(0) 编辑

PRML-公式推导 - 1.66公式详解

摘要：https://math.stackexchange.com/questions/171226/stuck-with-handling-of-conditional-probability-in-bishops-pattern-recognition 在本书的第10.8章节重新讲到了高斯模型的概率图阅读全文

posted @ 2022-02-14 23:04 筷点雪糕侠阅读(152) 评论(0) 推荐(0) 编辑

PRML-1.2.4 高斯分布

摘要：1.一元高斯分布 2.多元高斯分布

D 是 维 度, μ 是 均 值 向 量, D \times D 的 矩 阵 Σ 是 协 方 差 矩 阵

$D是维度,\mu是均值向量,D\times D的矩阵\Sigma是协方差矩阵$

比 如 二 维 的 X, Y

$比如二维的X,Y$ $

[\begin{matrix} c o v [x, x] & c o v [x, y] c o v [y, x] & c o v [y, y] \end{matrix}]

$\begin{bmatrix} cov[x,x] & cov[x,y] \ cov[y,x] & cov[y,y] \ \end{bmatrix}$ ,对阅读全文

posted @ 2022-02-14 21:46 筷点雪糕侠阅读(58) 评论(0) 推荐(0) 编辑

PRML-1.2.3 贝叶斯概率

摘要：

本 章 ⽬ 前 为 ⽌ ， 我 们 根 据 随 机 重 复 事 件 的 频 率 来 考 察 概 率 。 我 们 把 这 个 叫 做 经 典 的

$\ \ \ \ \ \ 本章⽬前为⽌，我们根据随机重复事件的频率来考察概率。我们把这个叫做经典的$ （classical）

或 者 频 率 学 家

$或者频率学家$ （frequentist）

的 关 于 概 率 的 观 点 。 现 在 我 们 转 向 更 加 通 ⽤ 的 贝 叶 斯

$的关于概率的观点。现在我们转向更加通⽤的贝叶斯$ （Bay 阅读全文

posted @ 2022-02-13 22:29 筷点雪糕侠阅读(56) 评论(0) 推荐(0) 编辑

PRML-1.2.2 期望和协方差

摘要：1.期望

离 散 型 : E [f] = \sum_{x} p (x) f (x)

$离散型:\mathbb{E}[f]=\sum\limits_x p(x)f(x)$

连 续 型 : E [f] = \sum_{x} p (x) f (x) d x

$连续型:\mathbb{E}[f]=\sum\limits_x p(x)f(x)dx$ 如果我们给定有限数量的N个点，这些点满⾜某个概率分布或者概率密度函数，那么期望可以通过求和的⽅式估计 \( 阅读全文

posted @ 2022-02-13 21:26 筷点雪糕侠阅读(46) 评论(0) 推荐(0) 编辑

PRML-1.2.1 概率密度函数 pdf

摘要：1.概率密度函数 - pdf （probability density function)

如 果 ⼀ 个 实 值 变 量 x 的 概 率 落 在 区 间 (x, x + δ x) 的 概 率 由 p (x) δ x 给 出 （ δ x \to 0 ） ， 那 么 p (x) 叫 做 x 的 概 率 密 度

$如果⼀个实值变量x的概率落在区间(x, x + δx)的概率由p(x)δx给出（δx → 0），那么p(x)叫做x的概率密度$ （probabilitydensity）。\(图1.12说明阅读全文

posted @ 2022-02-13 21:04 筷点雪糕侠阅读(334) 评论(0) 推荐(0) 编辑

PRML-1.2概率论,贝叶斯定理

摘要：1.联合概率,边缘概率,条件概率 $假设有两个离散随机变量X,Y,X有5种取值,Y有3种取值,做N次试验,其中我们对X和Y 都进⾏取样，把X = x_i且Y = y_j的试验的数量记作n_{ij}。并且，把X取值x_i（与Y 的取值⽆关）的试验的数量记作c_i，类似地，把Y 取值y_j的试验的数阅读全文

posted @ 2022-02-12 23:36 筷点雪糕侠阅读(123) 评论(0) 推荐(0) 编辑

PRML-1概述

摘要：1.机器学习问题分类 $

\begin{cases} 监督学习\begin{cases} 回归问题(regression,连续)\ 分类问题(classification,离散)\ \end{cases}

$\begin{cases} 监督学习\begin{cases} 回归问题(regression,连续)\ 分类问题(classification,离散)\ \end{cases}$ \ 无监督学习\begin{cases} 聚类(clustering)\ 密度估计(density 阅读全文

posted @ 2022-02-12 17:55 筷点雪糕侠阅读(134) 评论(0) 推荐(0) 编辑

筷点雪糕侠

随笔分类 - PRML

公告

搜索

常用链接

随笔分类 (133)

随笔档案 (126)

阅读排行榜

评论排行榜

推荐排行榜

最新评论