随笔分类 -  PRML

Pattern Recognition and Machine Learning 机器学习圣经之一
摘要:书上的图5.7介绍了神经网络的结构 但是图过于简单,对于推导公式很不利,很难理解,我对原图做了一些修改和扩展,方便大家理解 首先看下图上的一些标记说明 1.i(I)j(J)k(K)ikj \( 阅读全文
posted @ 2022-03-30 11:35 筷点雪糕侠 阅读(215) 评论(0) 推荐(1) 编辑
摘要:1.概念 判别式是一个使用输入向量x并把它分配给K种分类的其中一种Ck的函数。本章中,我们把我们的讨论局限于线性判别式(linear discriminants),即那些决策面是超平面的判别函数。为了简化讨论,我们首先考虑二分类的情况,再推广到K>2的情形。 #2 二分类 线性 阅读全文
posted @ 2022-03-27 16:59 筷点雪糕侠 阅读(265) 评论(0) 推荐(0) 编辑
摘要:一些记号 1. x 2. Ck,k=1,2,...,K,K 3.// D(D1) y(x)=constantwTx+w0=constant \(4 阅读全文
posted @ 2022-03-27 09:58 筷点雪糕侠 阅读(51) 评论(0) 推荐(0) 编辑
摘要:本章节中的一些概念跳来跳去,比较复杂,一些概念如 条件概率,最大似然,先验分布,后验分布,预测分布,证据函数,这些关系都梳理到了思维导图中, 3.线性回归模型 基函数模型 基函数种类 高斯基函数 多项式基函数 傅里叶基函数 sigmod基函数 回归函数最大似然求解析解 条件分布:假设:噪声是正态分布 阅读全文
posted @ 2022-03-23 11:08 筷点雪糕侠 阅读(134) 评论(0) 推荐(0) 编辑
摘要:3.5证据近似 解决两个超参数α,β 如果我们引入α,β上的超先验,那么预测分布可以通过边缘化w,α,β来获得: $ p(t|\textbf{t})=\int\int\int p(t|w,\beta)p(w|\textbf{t},\ 阅读全文
posted @ 2022-03-22 23:39 筷点雪糕侠 阅读(300) 评论(0) 推荐(0) 编辑
摘要:后验分布 假设我们需要比较模型Mi,i=1,...,L集合L。其中的模型是观测数据D上的概率分布。在多项式曲线拟合问题中,输入值X是已知的,分布被定义在目标值t上。其他类型的模型定义了$X,\textbf{t}\(上的联合分布。**我们假设数据是由 阅读全文
posted @ 2022-03-22 08:47 筷点雪糕侠 阅读(156) 评论(0) 推荐(0) 编辑
摘要:记号说明 1.X=x1,...,xNN,xn,n=1,2,...,N,x_train,D 2.t=t1,...,tn,y_train 阅读全文
posted @ 2022-03-21 22:51 筷点雪糕侠 阅读(252) 评论(0) 推荐(0) 编辑
摘要:证明 贝叶斯定理p(w|t)p(t|w)p(w) 代入3.10 ,3.48 p(t|X,w,β)=n=1NN(tn|wTϕ(xn),β1) \( 阅读全文
posted @ 2022-03-21 20:24 筷点雪糕侠 阅读(110) 评论(0) 推荐(0) 编辑
摘要:本章节主要讨论 在使用贝叶斯方法对参数进行求和或者积分时,过拟合现象不会出现 1.偏置-方差分解 1.5.5节中,当我们讨论回归问题的决策论时,我们考虑了一旦我们知道了条件概率分布p(t|x),就能够给出对应的最优预测结果的不同损失函数。使用最多的平方误差函数,此时最优预测的条件期望: \( 阅读全文
posted @ 2022-03-21 16:41 筷点雪糕侠 阅读(105) 评论(0) 推荐(0) 编辑
摘要:记号说明 1.X=x1,...,xNN,xn,n=1,2,...,N,x_train,D 2.t=t1,...,tn,y_train 阅读全文
posted @ 2022-03-21 15:27 筷点雪糕侠 阅读(186) 评论(0) 推荐(0) 编辑
摘要:考虑y(x),y(x)间的协方差 \(\begin{eqnarray} cov[y(x),y(x')] &=& cov[\phi(x)^Tw,w^T\phi(x')] \ &=& \phi(x)^TS_N\phi(x') = \beta^{-1}k(x,x') \tag{3.63} \end{ 阅读全文
posted @ 2022-03-20 15:42 筷点雪糕侠 阅读(39) 评论(0) 推荐(0) 编辑
摘要:https://biggerhao.github.io/blog/2018/03/PRML-1-90/ 原文回顾 (y(x) 的最优解是给定 xt 的条件期望。 \[ y(\mathbf{x}) = \fr 阅读全文
posted @ 2022-03-19 15:57 筷点雪糕侠 阅读(201) 评论(0) 推荐(0) 编辑
摘要:一些记号 D={x1,...,xN} 观测数据集 2.1 二元变量-伯努利分布 伯努利概率分布为:(x只能取0或1,取1的概率是μ,p(x=1|μ)=μ) (2.2)Bern(x|μ)=μx(1μ)1x 均值 阅读全文
posted @ 2022-03-19 10:42 筷点雪糕侠 阅读(504) 评论(0) 推荐(0) 编辑
摘要:本节是为了推导下面那句话 对称矩阵的逆同样是对称的 ΣT=Σ,Λ=Σ1 ΣΛ=I ΛTΣT=I ΛTΣ=I \(\ 阅读全文
posted @ 2022-03-16 22:37 筷点雪糕侠 阅读(239) 评论(0) 推荐(0) 编辑
摘要:我们用频率学角度证明这点。考虑一个贝叶斯推断,参数为θ并且观测了一个数据集D,由联合分布p(θ,D)表示. \(\mathbb{E}_\theta[\theta] = \mathbb{E}_D[\mathbb{E}_\theta[\theta|D]] \tag{2.21} 阅读全文
posted @ 2022-03-15 22:15 筷点雪糕侠 阅读(119) 评论(0) 推荐(0) 编辑
摘要:原文 https://www.cnblogs.com/wacc/p/5495448.html 贝叶斯线性回归 问题背景: 为了与PRML第一章一致,我们假定数据出自一个高斯分布: \[p(t|x,\mathbf{w},\beta)=\mathcal{N}(t|y(x,\mathbf{w}),\bet 阅读全文
posted @ 2022-03-14 20:43 筷点雪糕侠 阅读(332) 评论(0) 推荐(0) 编辑
摘要: (1.68)p(t|x,X,T)=p(t|x,w)p(w|X,T)dw 1.p(t,x,X,T)=p(t,x,X,T,w)dw =p(t|x,X,T,w)p(x,X,T,w)dw \(=\int p(t|x 阅读全文
posted @ 2022-03-13 23:44 筷点雪糕侠 阅读(280) 评论(0) 推荐(0) 编辑
摘要:p(w|X,T,α,β)p(T|X,w,β)p(w|α) ln lnp(T|X,w,β)+lnp(w|α) 回顾 \(\ln p(T|X, w, \beta) = -\frac{ 阅读全文
posted @ 2022-03-13 22:48 筷点雪糕侠 阅读(111) 评论(0) 推荐(0) 编辑
摘要:一些数学符号 N 样本量 xn 每一个数据点,或者叫样本点,工程中/训练集中的x_train tn 训练集中的y_train CDF 累计概率分布 PDF 概率密度函数 D 观测 X=(X1,...,XN)T N 阅读全文
posted @ 2022-03-13 22:10 筷点雪糕侠 阅读(147) 评论(0) 推荐(0) 编辑
摘要:(1.27)py(y)=px(x)|dxdy|=px(g(y))|g(y)| x=g(y) f(x)=f(g(y)) \(观测 阅读全文
posted @ 2022-03-13 15:05 筷点雪糕侠 阅读(46) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示