筷点雪糕侠

2022年3月22日

摘要：后验分布假设我们需要比较模型

M_{i}, i = 1, . . ., L

${M_i} , i = 1,...,L$ 集合

L

$L$ 。其中的模型是观测数据

D

$D$ 上的概率分布。在多项式曲线拟合问题中，输入值

X

$X$ 是已知的，分布被定义在目标值

t

$\textbf{t}$ 上。其他类型的模型定义了$X,\textbf{t}\(上的联合分布。**我们假设数据是由阅读全文

posted @ 2022-03-22 08:47 筷点雪糕侠阅读(156) 评论(0) 推荐(0) 编辑

2022年3月21日

PRML-3.3 贝叶斯线性回归

摘要：记号说明

1. 输 入 集 X = x_{1}, . . ., x_{N} 是 N 个 观 测 值, 某 一 个 观 测 x_{n}, 其 中 n = 1, 2, . . ., N, 通 俗 讲 就 是

$1.输入集\textbf{X}={x_1,...,x_N}是N个观测值,某一个观测{x_n},其中n=1,2,...,N,通俗讲就是$ x_train

, 或 者 文 中 称 为 D

$,或者文中称为\mathcal{D}$

2. 观 测 对 应 的 目 标 值 t = t_{1}, . . ., t_{n}, 通 俗 讲 就 是

$2.观测对应的目标值\textbf{t}={t_1,...,t_n},通俗讲就是$ y_train 阅读全文

posted @ 2022-03-21 22:51 筷点雪糕侠阅读(253) 评论(0) 推荐(0) 编辑

PRML-公式推导 - 3.49 3.50 3.51

摘要：证明贝叶斯定理

p (w | t) \propto p (t | w) p (w)

$p(w|t)\propto p(t|w)p(w)$ 代入3.10 ,3.48

p (t | X, w, β) = \prod_{n = 1}^{N} N (t_{n} | w^{T} ϕ (x_{n}), β^{- 1})

$p(\textbf{t}|\textbf{X},w,\beta) = \prod\limits_{n=1}^N\mathcal{N}(t_n|w^T\phi(x_n),\beta^{-1})$ \( 阅读全文

posted @ 2022-03-21 20:24 筷点雪糕侠阅读(113) 评论(0) 推荐(0) 编辑

PRML-3.2 偏置-方差分解

摘要：本章节主要讨论在使用贝叶斯方法对参数进行求和或者积分时，过拟合现象不会出现 1.偏置-方差分解 1.5.5节中，当我们讨论回归问题的决策论时，我们考虑了一旦我们知道了条件概率分布

p (t | x)

$p(t|x)$ ，就能够给出对应的最优预测结果的不同损失函数。使用最多的平方误差函数，此时最优预测的条件期望： \( 阅读全文

posted @ 2022-03-21 16:41 筷点雪糕侠阅读(106) 评论(0) 推荐(0) 编辑

PRML-3.1 回归的线性模型-线性基函数模型

摘要：记号说明

1. 输 入 集 X = x_{1}, . . ., x_{N} 是 N 个 观 测 值, 某 一 个 观 测 x_{n}, 其 中 n = 1, 2, . . ., N, 通 俗 讲 就 是

$1.输入集\textbf{X}={x_1,...,x_N}是N个观测值,某一个观测{x_n},其中n=1,2,...,N,通俗讲就是$ x_train

, 或 者 文 中 称 为 D

$,或者文中称为\mathcal{D}$

2. 观 测 对 应 的 目 标 值 t = t_{1}, . . ., t_{n}, 通 俗 讲 就 是

$2.观测对应的目标值\textbf{t}={t_1,...,t_n},通俗讲就是$ y_train 阅读全文

posted @ 2022-03-21 15:27 筷点雪糕侠阅读(189) 评论(0) 推荐(0) 编辑

2022年3月20日

PRML-公式推导 - 3.63

摘要：考虑

y (x), y (x^{'})

$y(x),y(x')$ 间的协方差 \(\begin{eqnarray} cov[y(x),y(x')] &=& cov[\phi(x)^Tw,w^T\phi(x')] \ &=& \phi(x)^TS_N\phi(x') = \beta^{-1}k(x,x') \tag{3.63} \end{ 阅读全文

posted @ 2022-03-20 15:42 筷点雪糕侠阅读(42) 评论(0) 推荐(0) 编辑

2022年3月19日

PRML-公式推导 - 1.90,3.40

摘要： https://biggerhao.github.io/blog/2018/03/PRML-1-90/ 原文回顾

在 上 文 中 ， 我 们 已 经 推 导 出 了 (y (x)

$在上文中，我们已经推导出了 (y(\mathbf{x})$ 的最优解是给定

x

$\mathbf{x}$ 的

t

$t$ 的条件期望。 \[ y(\mathbf{x}) = \fr 阅读全文

posted @ 2022-03-19 15:57 筷点雪糕侠阅读(210) 评论(0) 推荐(0) 编辑

PRML-第2章概率分布总结

摘要：一些记号

D = {x_{1}, . . ., x_{N}}

$D=\{x_1,...,x_N\}$ 观测数据集 2.1 二元变量-伯努利分布伯努利概率分布为：(x只能取0或1,取1的概率是

μ, p (x = 1 | μ) = μ

$\mu,p(x = 1|\mu) = \mu$ )

\begin{matrix} (2.2) & B e r n (x | μ) = μ^{x} (1 - μ)^{1 - x} \end{matrix}

$Bern(x|\mu) = \mu^x(1-\mu)^{1 - x} \tag{2.2}$ 均值阅读全文

posted @ 2022-03-19 10:42 筷点雪糕侠阅读(507) 评论(0) 推荐(0) 编辑

2022年3月16日

PRML-公式推导 - 2.69 对称矩阵的逆同样是对称的

摘要：本节是为了推导下面那句话对称矩阵的逆同样是对称的

已 知 Σ^{T} = Σ, Λ = Σ^{- 1}

$已知\Sigma^T = \Sigma,\Lambda=\Sigma^{-1}$

因 为 Σ Λ = I

$因为\Sigma\Lambda =I$

所 以 Λ^{T} Σ^{T} = I

$所以\Lambda^{T}\Sigma^{T}=I$

Λ^{T} Σ = I

$\Lambda^{T}\Sigma=I$ \(\ 阅读全文

posted @ 2022-03-16 22:37 筷点雪糕侠阅读(242) 评论(0) 推荐(0) 编辑

2022年3月15日

PRML-公式推导 - 2.21-2.24

摘要：我们用频率学角度证明这点。考虑一个贝叶斯推断，参数为

θ

$\theta$ 并且观测了一个数据集D，由联合分布

p (θ, D)

$p(\theta,D)$ 表示. \(\mathbb{E}_\theta[\theta] = \mathbb{E}_D[\mathbb{E}_\theta[\theta|D]] \tag{2.21} 阅读全文

posted @ 2022-03-15 22:15 筷点雪糕侠阅读(128) 评论(0) 推荐(0) 编辑

公告

昵称：筷点雪糕侠
园龄： 3年2个月
粉丝： 8
关注： 0

+加关注

2025年3月

日

一

二

三

四

五

六

公告

搜索

常用链接

随笔分类 (133)

随笔档案 (126)

阅读排行榜

评论排行榜

推荐排行榜

最新评论