PRML-第三章节思维导图关系梳理

本章节中的一些概念跳来跳去，比较复杂，一些概念如条件概率，最大似然，先验分布，后验分布，预测分布，证据函数，这些关系都梳理到了思维导图中，

3.线性回归模型

基函数模型

基函数种类

高斯基函数
多项式基函数
傅里叶基函数
sigmod基函数

回归函数最大似然求解析解

条件分布:假设：噪声是正态分布，精度是超参数 3.8

p (t | x, w, β) = N (t | y (x, w), β^{- 1})

$p(t|x,w,\beta) = \mathcal{N}(t|y(x,w), \beta^{-1})$

回归函数=条件均值 3.9

y (x, w) = E [t | x] = w^{T} ϕ (x)

$y(x,w)=\mathbb{E}[t|x]=w^T\phi(x)$

对噪声进行似然函数，求解

w_{M L} = (Φ^{T} Φ)^{- 1} Φ^{T} t, \frac{1}{β_{M L}} = \frac{1}{N} \sum_{n = 1}^{N} {t_{n} - w_{M L}^{T} ϕ (x_{n})}^{2}

$w_{ML} = (\Phi^T\Phi)^{-1}\Phi^T\textbf{t}, \frac{1}{\beta_{ML}} = \frac{1}{N}\sum\limits_{n=1}^N\{t_n - w_{ML}^T\phi(x_n)\}^2$

- 得到误差函数 3.12 3.26

E_{D} (w) = \frac{1}{2} \sum_{n = 1}^{N} {t_{n} - w^{T} ϕ (x_{n})}^{2}

$E_D(w) = \frac{1}{2}\sum\limits_{n=1}^N\{t_n - w^T\phi(x_n)\}^2$

正则化

思想：添加正则化项控制过拟合

E_{D} (w) + λ E_{W} (w)

$E_D(w) + \lambda E_W(w)$

- E_w(w) 3.25

E_{W} (w) = \frac{1}{2} w^{T} w

$E_W(w) = \frac{1}{2}w^Tw$

- E_D(w) 3.26

E_{D} (w) = \frac{1}{2} \sum_{n = 1}^{N} {t_{n} - w^{T} ϕ (x_{n})}^{2}

$E_D(w) = \frac{1}{2}\sum\limits_{n=1}^N\{t_n-w^T\phi(x_n)\}^2$

L2解析解

w = (λ I + Φ^{T} Φ)^{- 1} Φ^{T} t

$w = (\lambda I + \Phi^T\Phi)^{-1}\Phi^Tt$

一般形式

\frac{1}{2} \sum_{n = 1}^{N} {t_{n} - w^{T} ϕ (x_{n})}^{2} + \frac{λ}{2} \sum_{j = 1}^{M} | w_{j} |^{q}

$\frac{1}{2}\sum\limits_{n=1}^N\{t_n - w^T\phi(x_n)\}^2 + \frac{\lambda}{2}\sum\limits_{j=1}^M|w_j|^q$

正则化等价于带约束的误差函数

E_{D} (w) = \frac{1}{2} \sum_{n = 1}^{N} {t_{n} - w^{T} ϕ (x_{n})}^{2}, \sum_{j = 1}^{M} | w_{j} |^{q} \leq η

$E_D(w) = \frac{1}{2}\sum\limits_{n=1}^N\{t_n - w^T\phi(x_n)\}^2,\sum\limits_{j=1}^M|w_j|^q \leq \eta$

贝叶斯线性回归

学习

先验
- 一般高斯先验 3.48

p (w) = N (w | m_{0}, S_{0})

$p(w) = \mathcal{N}(w|m_0,S_0)$

- **0均值先验 3.52**

p (w | α) = N (w | 0, α^{- 1} I)

$p(w|\alpha) = \mathcal{N}(w|0,\alpha^{-1}I)$

- 其他形式的先验 3.56

p (w ∣ α) = {[\frac{q}{2} {(\frac{α}{2})}^{\frac{1}{q}} \frac{1}{Γ (\frac{1}{q})}]}^{M} \exp (- \frac{α}{2} \sum_{j = 0}^{M - 1} {| w_{j} |}^{q})

$p(\boldsymbol{w} \mid \alpha)=\left[\frac{q}{2}\left(\frac{\alpha}{2}\right)^{\frac{1}{q}} \frac{1}{\Gamma\left(\frac{1}{q}\right)}\right]^{M} \exp \left(-\frac{\alpha}{2} \sum_{j=0}^{M-1}\left|w_{j}\right|^{q}\right)$

后验
- 一般高斯后验 3.49-3.51

\begin{array}{rcl} (3.49) & p (w | t) & = & N (w | m_{N}, S_{N}) \\ (3.50) & m_{N} & = & S_{N} (S_{0}^{- 1} m_{0} + β Φ^{T} t) \\ (3.51) & S_{N}^{- 1} & = & S_{0}^{- 1} + β Φ^{T} Φ \end{array}

$\begin{eqnarray} p(w|t) &=& \mathcal{N}(w|m_N,S_N) \tag{3.49}\\ m_N &=& S_N(S_0^{-1}m_0 + \beta\Phi^Tt) \tag{3.50} \\ S_N^{-1} &=& S_0^{-1} + \beta\Phi^T\Phi \tag{3.51} \end{eqnarray}$

- **0均值后验 3.49 3.53-3.54**

\begin{array}{rcl} (3.49) & p (w | t) & = & N (w | m_{N}, S_{N}) \\ (3.53) & m_{N} & = & β S_{N} Φ^{T} t \\ (3.54) & S_{N}^{- 1} & = & α I + β Φ^{T} Φ \end{array}

$\begin{eqnarray} p(w|t) &=& \mathcal{N}(w|m_N,S_N) \tag{3.49}\\ m_N &=& \beta S_N\Phi^Tt \tag{3.53} \\ S_N^{-1} &=& \alpha I + \beta\Phi^T\Phi \tag{3.54} \end{eqnarray}$

后验分布关于w最大化 3.55

\ln p (w | t) = - \frac{β}{2} \sum_{n = 1}^{N} {t_{n} - w^{T} ϕ (x_{n})}^{2} - \frac{α}{2} w^{T} w + c o n s t

$\ln p(w|t) = -\frac{\beta}{2}\sum\limits_{n=1}^N\{t_n - w^T\phi(x_n)\}^2 - \frac{\alpha}{2}w^Tw + const$

- 正则项

λ = α / β

$\lambda = \alpha/\beta$

顺序学习图3.7
- 前一个的后验当做后一个的先验
  - 在线学习框架
- python代码实现顺序学习

预测

预测分布=条件分布(3.8),后验分布卷积(3.49)=对w做积分 3.57 3.58

p (t | T, α, β) = \int p (t | w, β) p (w | T, α, β) d w = N (t | m_{N}^{T} ϕ (x), σ_{N}^{2} (x)), σ_{N}^{2} (x) = \frac{1}{β} + ϕ (x)^{T} S_{N} ϕ (x)

$p(t|T, \alpha, \beta) = \int p(t|w,\beta)p(w|T,\alpha,\beta)dw= \mathcal{N}(t|m_N^T\phi(x),\sigma_N^2(x)), \sigma_N^2(x) = \frac{1}{\beta} + \phi(x)^TS_N\phi(x)$

观测越多，后验概率收窄,习题3.11

判别式模型

等价核
- 预测均值E(y_test)与训练集目标值y_train之间的线性关系3.60 3.61

y (x, m_{N}) = \sum_{n = 1}^{N} β ϕ (x)^{T} S_{N} ϕ (x_{n}) t_{n} = \sum_{n = 1}^{N} k (x, x_{n}) t_{n}

$y(x,m_N)=\sum\limits_{n=1}^N\beta\phi(x)^TS_N\phi(x_n)t_n= \sum\limits_{n=1}^Nk(x,x_n)t_n$

- 高斯过程-6.4章节再展开

证据近似

预测分布

通过预测分布引出边缘似然函数/证据函数的意义

3.74 基本预测分布公式

p (t | t) = \int \int \int p (t | w, β) p (w | t, α, β) p (α, β | t) d w d α d β

$p(t|\textbf{t})=\int\int\int p(t|w,\beta)p(w|\textbf{t},\alpha,\beta)p(\alpha,\beta|\textbf{t})dwd\alpha d\beta$

3.75 如果后验分布附近有尖峰(即alpha,beta是固定值)，并且省略对变量x的依赖关系

p (t | t) ≃ p (t | t, \hat{α}, \hat{β}) = \int p (t | w, \hat{β}) p (w | t, \hat{α}, \hat{β}) d w

$p(t|\textbf{t}) \simeq p(t|\textbf{t},\hat{\alpha},\hat{\beta}) = \int p(t|w,\hat{\beta})p(w|\textbf{t}, \hat{\alpha},\hat{\beta})dw$

- 3.8

p (t | x, w, β) = N (t | y (x, w), β^{- 1})

$p(t|x,w,\beta) = \mathcal{N}(t|y(x,w), \beta^{-1})$

- 3.49

p (w | t) = N (w | m_{N}, S_{N})

$p(w|t) = \mathcal{N}(w|m_N,S_N)$

- 引申出如何求将alpha,beta固定？

利用最大化后验

α = \hat{α}, β = \hat{β}

$\alpha=\hat \alpha,\beta =\hat \beta$

	- 后验的贝叶斯定理

p (α, β | t) \propto p (t | α, β) p (α, β)

$p(\alpha,\beta|\textbf{t}) \propto p(\textbf{t}|\alpha,\beta)p(\alpha,\beta)$

		- 假设先验较平

p (α, β)

$p(\alpha,\beta)$

		- 最大化后验等价于最大化边缘似然函数(也称为证据函数)-这就是证据框架重点

p (t | α, β)

$p(\textbf{t}|\alpha,\beta)$

经验贝叶斯模型

1.对w做积分得到边缘似然函数-3.86
2.最大化边缘似然函数确定超参数的值

边缘似然函数/证据函数
概念参看公式3.68

p (t | α, β)

$p(\textbf{t}|\alpha,\beta)$

- 定义

	- 证据函数的定理：对w积分 3.77

p (t | α, β) = \int p (t | w, β) p (w | α) d w

$p(\textbf{t}|\alpha,\beta) = \int p(\textbf{t}|w,\beta)p(w|\alpha)dw$

- 计算方法

	- 方法1 使用2.115 对y的边缘分布(已知p(x),p(y|x))，未展开说明

p (y) = N (y | A μ + b, L^{- 1} + A Λ^{- 1} A^{T})

$p(y) = \mathcal{N}(y|A\mu + b,L^{-1} + A\Lambda^{-1}A^T)$

	- 方法2 使用3.11 3.12 3.52 代入3.77

		- 3.11 对数似然(把ln还回去)

\ln p (t | w, β) = \frac{N}{2} \ln β - \frac{N}{2} \ln (2 π) - β E_{D} (w)

$\ln p(\textbf{t}|w, \beta) = \frac{N}{2}\ln\beta-\frac{N}{2}\ln(2\pi) - \beta E_D(w)$

		- 3.12 平方和误差函数

E_{D} (w) = \frac{1}{2} \sum_{n = 1}^{N} {t_{n} - w^{T} ϕ (w_{n})}^{2}

$E_D(w) = \frac{1}{2}\sum\limits_{n=1}^N\{t_n - w^T\phi(w_n)\}^2$

		- 3.52 0均值高斯先验分布

p (w | α) = N (w | 0, α^{- 1} I)

$p(w|\alpha) = \mathcal{N}(w|0,\alpha^{-1}I)$

最大化证据函数
- 1.假设alpha.beta的先验是Gamma分布，但是这样w就没有解析解了
- 2.拉普拉斯近似 4.4章节
- 3.解析计算证据函数 3.86，求导=0 本章3.5.2
  - 对3.86 alpha求导 3.92 3.91

α = \frac{γ}{m_{N}^{T} m_{N}} ， γ = \sum_{i} \frac{λ_{i}}{α + λ_{i}}

$\alpha = \frac{\gamma}{m_N^Tm_N}，\gamma = \sum\limits_i\frac{\lambda_i}{\alpha + \lambda_i}$

		- gamma和alpha相关，和后验m_N也和alpha相关，所以这不是解析解，需要迭代

			- 1.  3.52式求m_N

p (w | α) = N (w | 0, α^{- 1} I)

$p(w|\alpha) = \mathcal{N}(w|0,\alpha^{-1}I)$

			- 2.  3.91式求gamma

γ = \sum_{i} \frac{λ_{i}}{α + λ_{i}}

$\gamma = \sum\limits_i\frac{\lambda_i}{\alpha + \lambda_i}$

			- 3.  3.92式重新计算alpha

α = \frac{γ}{m_{N}^{T} m_{N}}

$\alpha = \frac{\gamma}{m_N^Tm_N}$

			- 小技巧

A 中 的 Φ^{T} Φ 的 特 征 值 计 算 一 次 就 好

$A中的\Phi^T\Phi的特征值计算一次就好$

			- 数据集N很大的时候可以采用近似解 3.98

α = \frac{M}{2 E_{W} (m_{N})}

$\alpha = \frac{M}{2E_W(m_N)}$

	- 对3.86 beta求导

\frac{1}{β} = \frac{1}{N - γ} \sum_{n = 1}^{N} {t_{n} - m_{N}^{T} ϕ (x_{n})}^{2}

$\frac{1}{\beta} = \frac{1}{N - \gamma}\sum\limits_{n=1}^N\{t_n - m_N^T\phi(x_n)\}^2$

		- 和alpha一样也需要迭代
		- 最大似然求得的beta 3.21

\frac{1}{β_{M L}} = \frac{1}{N} \sum_{n = 1}^{N} {t_{n} - w_{M L}^{T} ϕ (x_{n})}^{2}

$\frac{1}{\beta_{ML}} = \frac{1}{N}\sum\limits_{n=1}^N\{t_n - w_{ML}^T\phi(x_n)\}^2$

		- 数据集N很大的时候可以采用近似解 3.99

β = \frac{N}{2 E_{D} (m_{N})}

$\beta = \frac{N}{2E_D(m_N)}$

- 4.EM算法 第9章节

贝叶斯模型比较

多模型先验分布

一般取均匀分布

多模型后验分布

3.66 多模型贝叶斯公式

p (M_{i} | D) \propto p (M_{i}) p (D | M_{i}

$p(M_i|D) \propto p(M_i)p(D|M_i$

模型证据/边缘似然函数
- 模型证据3.68

p (D | M_{i}) = \int p (D | w, M_{i}) p (w | M_{i}) d w

$p(D|M_i) = \int p(D|w,M_i)p(w|M_i)dw$

- 3.68太复杂,简化模型证据，4个假设

	- 1.假设参数w只有一个
	- 2.省略对M_i的依赖
	- 3.最大似然w_{MAP}附近是一个尖峰
	- 4.假设先验是平的(均匀分布)

- 简化后的模型

	- 3.70 基本式

p (D) = \int p (D | w) p (w) d w ≃ p (D | w_{M A P}) \frac{Δ w_{p o s t e r i o r}}{Δ w_{p r i o r}}

$p(D) = \int p(D|w)p(w)dw \simeq p(D|w_{MAP}) \frac{\Delta w_{posterior}}{\Delta w_{prior}}$

	- 3.71 对数式

\ln p (D) ≃ \ln p (D | w_{M A P}) + \ln (\frac{Δ w_{p o s t e r i o r}}{Δ w_{p r i o r}})

$\ln p(D) \simeq \ln p(D|w_{MAP}) + \ln \left(\frac{\Delta w_{posterior}}{\Delta w_{prior}}\right)$

		- 第一项表示数据的拟合程度是由最可能的参数值给出
		- 第二项根据模型的复杂度来惩罚模型

	- 多参数模型

		- 假设

假 设 所 有 参 数 Δ w_{p o s t e r i o r} / Δ w_{p r i o r} 都 相 同

$假设所有参数\Delta w_{posterior}/ \Delta w_{prior}都相同$

		- M个参数的模型3.72

\ln p (D) ≃ \ln p (D | w_{M A P}) + M \ln (\frac{Δ w_{p o s t e r i o r}}{Δ w_{p r i o r}})

$\ln p(D) \simeq \ln p(D|w_{MAP}) + M\ln \left(\frac{\Delta w_{posterior}}{\Delta w_{prior}}\right)$

- 贝叶斯模型的trade-off

	- 3.72式中，随着增加复杂度

第一项会增加
第二项会减少
所以贝叶斯模型就是在这两项中做权衡，这种不会引发过拟合

贝叶斯因子

p (D | M_{i}) / p (D | M_{j})

$p(D|M_i) / p(D|M_j)$

预测分布(已知后验)

3.67

p (t | x, D) = \sum_{i = 1}^{L} p (t | x, M_{i}, D) p (M_{i} | D)

$p(t|x,D) = \sum\limits_{i=1}^Lp(t|x,M_i,D)p(M_i|D)$

潜在的问题

与模式识别中其他方法一样，贝叶斯方法需要对模型的形式作出假设，且如果做出的假设不合理，那么结果就会出错
个人理解就是先验要近似正态的随机噪声，必须是噪声，不能还有遗留有用的信息，因为正态就是最混乱的状态-微分熵

局限性

假设了基函数在观测到任何数据之前就被固定了下来

posted @ 2022-03-23 11:08 筷点雪糕侠阅读(134) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

相关博文：

· PRML-3.5 证据近似

· PRML-3.4 贝叶斯模型比较

· [模式识别复习笔记] 第5章贝叶斯分类器

· Python-机器学习算法交易实用指南-全-

· 机器学习专项练习

阅读排行：
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布：重大改进与新特性概览！
· AI与.NET技术实操系列（二）：开始使用ML.NET
· .NET10 - 预览版1新功能体验（一）

公告

昵称：筷点雪糕侠
园龄： 3年2个月
粉丝： 8
关注： 0

+加关注

2025年3月

日

一

二

三

四

五

六

筷点雪糕侠

PRML-第三章节思维导图关系梳理

3.线性回归模型

基函数模型

基函数种类

回归函数最大似然求解析解

正则化

贝叶斯线性回归

学习

预测

判别式模型

证据近似

预测分布

经验贝叶斯模型

贝叶斯模型比较

多模型先验分布

多模型后验分布

预测分布(已知后验)

潜在的问题

局限性

假设了基函数在观测到任何数据之前就被固定了下来

公告

搜索

常用链接

随笔分类 (133)

随笔档案 (126)

阅读排行榜

评论排行榜

推荐排行榜

最新评论

筷点雪糕侠

PRML-第三章节 思维导图 关系梳理

3.线性回归模型

基函数模型

基函数种类

回归函数最大似然求解析解

正则化

贝叶斯线性回归

学习

预测

判别式模型

证据近似

预测分布

经验贝叶斯模型

贝叶斯模型比较

多模型先验分布

多模型后验分布

预测分布(已知后验)

潜在的问题

局限性

假设了基函数在观测到任何数据之前就被固定了下来

公告

搜索

常用链接

随笔分类 (133)

随笔档案 (126)

阅读排行榜

评论排行榜

推荐排行榜

最新评论

PRML-第三章节思维导图关系梳理