摘要：
后验分布 假设我们需要比较模型${M_i} , i = 1,...,L$集合$L$。其中的模型是观测数据$D$上的概率分布。在多项式曲线拟合问题中，输入值$X$是已知的，分布被定义在目标值$\textbf{t}$上。其他类型的模型定义了$X,\textbf{t}\(上的联合分布。**我们假设数据是由 阅读全文
摘要：
记号说明 $1.输入集\textbf{X}={x_1,...,x_N}是N个观测值,某一个观测{x_n},其中n=1,2,...,N,通俗讲就是$x_train$,或者文中称为\mathcal{D}$ $2.观测对应的目标值\textbf{t}={t_1,...,t_n},通俗讲就是$y_train 阅读全文
摘要：
证明 贝叶斯定理$p(w|t)\propto p(t|w)p(w)$ 代入3.10 ,3.48 \(p(\textbf{t}|\textbf{X},w,\beta) = \prod\limits_{n=1}^N\mathcal{N}(t_n|w^T\phi(x_n),\beta^{-1})\) \( 阅读全文
摘要：
本章节主要讨论 在使用贝叶斯方法对参数进行求和或者积分时，过拟合现象不会出现 1.偏置-方差分解 1.5.5节中，当我们讨论回归问题的决策论时，我们考虑了一旦我们知道了条件概率分布$ p(t|x) $，就能够给出对应的最优预测结果的不同损失函数。使用最多的平方误差函数，此时最优预测的条件期望： \( 阅读全文
摘要：
记号说明 $1.输入集\textbf{X}={x_1,...,x_N}是N个观测值,某一个观测{x_n},其中n=1,2,...,N,通俗讲就是$x_train$,或者文中称为\mathcal{D}$ $2.观测对应的目标值\textbf{t}={t_1,...,t_n},通俗讲就是$y_train 阅读全文
摘要：
考虑$y(x),y(x')$间的协方差 \(\begin{eqnarray} cov[y(x),y(x')] &=& cov[\phi(x)^Tw,w^T\phi(x')] \ &=& \phi(x)^TS_N\phi(x') = \beta^{-1}k(x,x') \tag{3.63} \end{ 阅读全文
摘要：
https://biggerhao.github.io/blog/2018/03/PRML-1-90/ 原文回顾 \(在上文中，我们已经推导出了 (y(\mathbf{x})\) 的最优解是给定 \(\mathbf{x}\) 的 \(t\) 的条件期望。 \[ y(\mathbf{x}) = \fr 阅读全文
摘要：
一些记号 \(D=\{x_1,...,x_N\}\) 观测数据集 2.1 二元变量-伯努利分布 伯努利概率分布为：(x只能取0或1,取1的概率是$\mu,p(x = 1|\mu) = \mu$) \(Bern(x|\mu) = \mu^x(1-\mu)^{1 - x} \tag{2.2}\) 均值 阅读全文
摘要：
本节是为了推导下面那句话 对称矩阵的逆同样是对称的 \(已知\Sigma^T = \Sigma,\Lambda=\Sigma^{-1}\) \(因为\Sigma\Lambda =I\) \(所以\Lambda^{T}\Sigma^{T}=I\) \(\Lambda^{T}\Sigma=I\) \(\ 阅读全文
摘要：
我们用频率学角度证明这点。考虑一个贝叶斯推断，参数为$\theta$并且观测了一个数据集D，由联合分布$p(\theta,D)$表示. \(\mathbb{E}_\theta[\theta] = \mathbb{E}_D[\mathbb{E}_\theta[\theta|D]] \tag{2.21} 阅读全文