03 2022 档案
摘要:书上的图5.7介绍了神经网络的结构 但是图过于简单,对于推导公式很不利,很难理解,我对原图做了一些修改和扩展,方便大家理解 首先看下图上的一些标记说明 \(
阅读全文
摘要:1.概念 判别式是一个使用输入向量并把它分配给种分类的其中一种的函数。本章中,我们把我们的讨论局限于线性判别式(linear discriminants),即那些决策面是超平面的判别函数。为了简化讨论,我们首先考虑二分类的情况,再推广到的情形。 #2 二分类 线性
阅读全文
摘要:本章节中的一些概念跳来跳去,比较复杂,一些概念如 条件概率,最大似然,先验分布,后验分布,预测分布,证据函数,这些关系都梳理到了思维导图中, 3.线性回归模型 基函数模型 基函数种类 高斯基函数 多项式基函数 傅里叶基函数 sigmod基函数 回归函数最大似然求解析解 条件分布:假设:噪声是正态分布
阅读全文
摘要:3.5证据近似 解决两个超参数 如果我们引入上的超先验,那么预测分布可以通过边缘化来获得: $ p(t|\textbf{t})=\int\int\int p(t|w,\beta)p(w|\textbf{t},\
阅读全文
摘要:后验分布 假设我们需要比较模型集合。其中的模型是观测数据上的概率分布。在多项式曲线拟合问题中,输入值是已知的,分布被定义在目标值上。其他类型的模型定义了$X,\textbf{t}\(上的联合分布。**我们假设数据是由
阅读全文
摘要:本章节主要讨论 在使用贝叶斯方法对参数进行求和或者积分时,过拟合现象不会出现 1.偏置-方差分解 1.5.5节中,当我们讨论回归问题的决策论时,我们考虑了一旦我们知道了条件概率分布,就能够给出对应的最优预测结果的不同损失函数。使用最多的平方误差函数,此时最优预测的条件期望: \(
阅读全文
摘要:考虑间的协方差 \(\begin{eqnarray} cov[y(x),y(x')] &=& cov[\phi(x)^Tw,w^T\phi(x')] \ &=& \phi(x)^TS_N\phi(x') = \beta^{-1}k(x,x') \tag{3.63} \end{
阅读全文
摘要:https://biggerhao.github.io/blog/2018/03/PRML-1-90/ 原文回顾 的最优解是给定 的 的条件期望。 \[ y(\mathbf{x}) = \fr
阅读全文
摘要:我们用频率学角度证明这点。考虑一个贝叶斯推断,参数为并且观测了一个数据集D,由联合分布表示. \(\mathbb{E}_\theta[\theta] = \mathbb{E}_D[\mathbb{E}_\theta[\theta|D]] \tag{2.21}
阅读全文
摘要:原文 https://www.cnblogs.com/wacc/p/5495448.html 贝叶斯线性回归 问题背景: 为了与PRML第一章一致,我们假定数据出自一个高斯分布: \[p(t|x,\mathbf{w},\beta)=\mathcal{N}(t|y(x,\mathbf{w}),\bet
阅读全文
摘要:局部变分方法 利用局部信息进行变分推断 寻找上界或者下界 \(f(x)是
阅读全文
摘要:为什么需要近似推断 现在棘手的问题在于 两种方法达到近似推断 1.决定性方法,-有解析解,快速,但是求出的是局部解 2.随机性方法,-慢,要采样多次,但是可以得到全局解(有证明的) 决定性推断
阅读全文
摘要:二维连续函数的傅里叶变换 一维的相关推导见本博客其他章节 这里是二维傅里叶变换的说明 一维离散函数的傅里叶变换 二维离散函数的傅里叶变换 对二维函数的波形没法理解的可以看这张图,u,v就是对应这张图两边的的频率 频谱图和时域图的说明 大家看下的图片,8个字母的时域图和频域图片比较,有些有趣的结论 Z
阅读全文
摘要:原理见 https://blog.csdn.net/schwein_van/article/details/84336633 https://blog.csdn.net/qq_41747057/article/details/116013500 或者可以见B站视频 https://www.bilib
阅读全文
摘要:原理方面,其他网友已经讲得很详细了,这里补充下python代码 https://blog.csdn.net/liyuanbhu/article/details/49387483 点击查看代码 import cv2 import numpy as np import matplotlib.pyplot
阅读全文
摘要:案例入门 没有一种有向图可以表达上面的关系,所以这时候就需要用无向图来表示 基本概念 因子的表示 输入是一个随机变量具体的值 输出是对应的可能情况,这说明因子就是没有归一化的概率密度函数/概率质
阅读全文