02 2022 档案

摘要:图与分布的等价性 如图3.5中的abc三张图 从分布构建图-最小I-map 阅读全文
posted @ 2022-02-28 23:12 筷点雪糕侠 阅读(71) 评论(0) 推荐(0) 编辑
摘要:d-分离 (XY|Z)(G) 直接连接 这个一看就是互相影响的,不可能独立 间接连接 考虑下面四种间接连接的情况 简单总结下就是 \(a,b,c三种情况是如果没有观察到Z。那么X,Y是相关的, 阅读全文
posted @ 2022-02-28 08:33 筷点雪糕侠 阅读(140) 评论(0) 推荐(0) 编辑
摘要:贝叶斯网络的定义 (DAG)G 因子分解-基础 =() 概率图 推理模式 拿到一封好的推荐信的概率为 \(P(L= 阅读全文
posted @ 2022-02-27 22:34 筷点雪糕侠 阅读(465) 评论(0) 推荐(0) 编辑
摘要:朴素贝叶斯模型定义 概率图模型 作用 适用场景 局限性 显而易见,各变量之间的独立假设过强是最大的局限性,相互影响的变量被重复计算,证据被重复计算,特征过多,反而性能下降 阅读全文
posted @ 2022-02-26 20:52 筷点雪糕侠 阅读(48) 评论(0) 推荐(0) 编辑
摘要:基本概念 X ε :XiXj :XiXj XiXj:(), \(有向图\mathcal{G} 阅读全文
posted @ 2022-02-26 17:11 筷点雪糕侠 阅读(228) 评论(0) 推荐(0) 编辑
摘要:一些概念 条件概率 链式法则 贝叶斯定理 多项式分布,伯努利分布 一些记号的说明 P(X=x)P(x) xXxP(x)=1 P(X=x,Y=y)P(x,y) 边缘分布 P(x)X 阅读全文
posted @ 2022-02-26 14:56 筷点雪糕侠 阅读(520) 评论(0) 推荐(0) 编辑
摘要:![](https://img2022.cnblogs.com/blog/2682749/202202/2682749-20220225082650549-412184799.png) ![](https://img2022.cnblogs.com/blog/2682749/202202/2682749-20220225082710434-28008007.png) ![](https://img 阅读全文
posted @ 2022-02-25 08:31 筷点雪糕侠 阅读(114) 评论(0) 推荐(0) 编辑
摘要:![](https://img2022.cnblogs.com/blog/2682749/202202/2682749-20220224225111955-262876296.png) ![](https://img2022.cnblogs.com/blog/2682749/202202/2682749-20220224225236328-2104689293.png) ![](https://i 阅读全文
posted @ 2022-02-24 22:59 筷点雪糕侠 阅读(52) 评论(0) 推荐(0) 编辑
摘要:![](https://img2022.cnblogs.com/blog/2682749/202202/2682749-20220224224131914-294611579.png) ![](https://img2022.cnblogs.com/blog/2682749/202202/2682749-20220224224211081-175988797.png) ![](https://im 阅读全文
posted @ 2022-02-24 22:50 筷点雪糕侠 阅读(44) 评论(0) 推荐(0) 编辑
摘要:![](https://img2022.cnblogs.com/blog/2682749/202202/2682749-20220224220338734-82519410.png) ![](https://img2022.cnblogs.com/blog/2682749/202202/2682749-20220224220712134-653559335.png) ![](https://img 阅读全文
posted @ 2022-02-24 22:24 筷点雪糕侠 阅读(65) 评论(0) 推荐(0) 编辑
摘要:一般只有树状 符合次模性的结构才能精确推理 一般图只能用近似推理 BP算法在有环的,没法使用 本章讲解的是BP算法如何在因子图上执行,之前讲的是在聚类图上执行 nia(xi)从变量节点i到因子节点a的消息 \(i是变量节点,没有势函数,要计算i的邻居节点(\a 把a排除在 阅读全文
posted @ 2022-02-24 08:39 筷点雪糕侠 阅读(170) 评论(0) 推荐(0) 编辑
摘要:1.节点的势函数初始化 对应到j这个节点的因子做一个连乘积,就是j节点里面的全部因子 2.选取根节点,这个好说 3.计算消息,这个复杂了 ij \(先计算除了j之外,i的其他邻居节点到i的消息,这个例子里面是s到i,t到i的消息(\delta_{k\to j}),k\in (Nb 阅读全文
posted @ 2022-02-21 08:55 筷点雪糕侠 阅读(224) 评论(0) 推荐(0) 编辑
摘要:变量消元算法 Aϕ(), 案例2 顺序总结 VE-Variable Eliminate 第二种消元法复杂度高于第一种的 复杂度还可以从图论的视角分析 导出图和变量消元顺序是一一对应的 scope 就是因子中包含的随机变量 导出图的宽度决定了这个消元顺序对 阅读全文
posted @ 2022-02-21 08:44 筷点雪糕侠 阅读(180) 评论(0) 推荐(0) 编辑
摘要:节点类型有两类 1.变量节点(圆圈表示) 2.因子节点(方块表示) - 这个因子基本就是神经网络中的隐变量 变量节点之间没有边 因子节点之间没有边 贝叶斯网络和MRF都可以用因子图来表示 fa, 怎么连看左边下面的P中的元素,每个P对应 阅读全文
posted @ 2022-02-20 22:31 筷点雪糕侠 阅读(395) 评论(0) 推荐(0) 编辑
摘要:图像去噪案例 几个概念 联合概率分布 归一化因子/配分函数 - 作用:使得p(x1,...,xn)这个分布满足概率=1的要求 最后一个公式,也可以通过p~(x1,...,xn) 势函数 归一化因子怎么求?图中有 这张图里面的边缘概率p(A,B)是从上一 阅读全文
posted @ 2022-02-20 22:09 筷点雪糕侠 阅读(215) 评论(0) 推荐(0) 编辑
摘要:注意这里的父节点,指的是父节点的集合 核心问题-条件独立性 讲重点-条件独立性 Z表示是观测变量 比如第一条,如果W不是观测变量,那么X会影响Y,打了一个勾,表示具备概率流动性 第三条,对应右边图的右边部分,I,G,S这部分,若W已被观测,G,S没有流动性,若W未被观测,是有流动性,比如不知道他智力 阅读全文
posted @ 2022-02-20 16:29 筷点雪糕侠 阅读(154) 评论(0) 推荐(0) 编辑
摘要:重点来了,条件独立性,概率图模型的核心 第二张图形成了圈,是含圈的(不用看是否有向) 阅读全文
posted @ 2022-02-20 15:26 筷点雪糕侠 阅读(49) 评论(0) 推荐(0) 编辑
摘要:#1.入门 2.发展历程 #3.三大要素 表示,推理,学习 重要概念 条件独立性 三大类问题 应用举例 所谓像素深度就是判断远近程度 NIPS-这个点看下 NIPS(NeurIPS),全称神经信息处理系统大会(Conference and Workshop on Neural Information 阅读全文
posted @ 2022-02-19 23:39 筷点雪糕侠 阅读(75) 评论(0) 推荐(0) 编辑
摘要:#1.公式回顾 比对一下下面的离散控制系统 #2.机器人应用举例 #陀螺仪滤波 代码 #视觉跟随装甲板 阅读全文
posted @ 2022-02-19 18:01 筷点雪糕侠 阅读(32) 评论(0) 推荐(0) 编辑
摘要:#1.卡尔曼公式详解 - 重点!!! 预测当前的值也叫先验估计 x^t=Fx^t1+Bμt1 基于之前的最优估计来推出当阶段的先验估计 协方差公式 Pt=FPt1FT+Q \(P_t^- 是\hat x_t^时刻的协方差矩 阅读全文
posted @ 2022-02-19 18:00 筷点雪糕侠 阅读(26) 评论(0) 推荐(0) 编辑
摘要:#1.状态空间表达式 xk,k,xk1 ukxk wk A B yk vk C ##案例 阅读全文
posted @ 2022-02-19 14:20 筷点雪糕侠 阅读(35) 评论(0) 推荐(0) 编辑
摘要:#1.引入 将信号过滤后更趋于真实值,去掉噪声 #2.适用系统 两个要求 1.线性系统: 1.1 叠加性 一个系统y的输出由另外两个系统y_1,y_2的输出叠加而成 1.2 齐次性 输入x增加k倍,输出y也增加k倍 2.高斯分布:噪声满足高斯分布 #3.宏观意义 滤波即加权 将高频信号(噪声)权重降 阅读全文
posted @ 2022-02-19 13:36 筷点雪糕侠 阅读(24) 评论(0) 推荐(0) 编辑
摘要:#1.相对熵,KL散度 p(x),q(x),p(x),q(x)/KL 注意KL(p||q)KL(q||p),相对熵不是一个对称量 KLp(x)q(x) #2.KL散度的近似公式 阅读全文
posted @ 2022-02-19 13:22 筷点雪糕侠 阅读(38) 评论(0) 推荐(0) 编辑
摘要:#1.信息熵 p(x)h(x) 1.p(x) \(2.如果我们有两个不相关的事件x和y,我们观察到两个事件同时发⽣时获得的信息应该等于观察到事件各⾃发⽣时获得的信息之和,即h(x, y) = h( 阅读全文
posted @ 2022-02-18 23:32 筷点雪糕侠 阅读(102) 评论(0) 推荐(0) 编辑
摘要:#1.损失函数 L(t,y(x)) E[L]=L(t,y(x))p(x,t)dxdt 平方损失 L(t,y(x))={y(x)t}2 \(损失函数可以写成 阅读全文
posted @ 2022-02-18 08:49 筷点雪糕侠 阅读(127) 评论(0) 推荐(0) 编辑
摘要:https://biggerhao.github.io/blog/2018/02/PRML-1-88/ 原文回顾 在回归问题中,我们需要选择一个估计函数 y(x),来对每个输入 x 预测其对应的值 t。这样做就会导致损失 \(L(t, y( 阅读全文
posted @ 2022-02-18 08:21 筷点雪糕侠 阅读(237) 评论(0) 推荐(0) 编辑
摘要:使 判别式 和 生成式 简单点说,生成式算出的是概率,哪个概率大,属于哪个分类 判别式就是输出具体的类别,没有概率 上图左边为判别式模型而右边为生成式模型,可以很清晰 阅读全文
posted @ 2022-02-17 22:39 筷点雪糕侠 阅读(63) 评论(0) 推荐(0) 编辑
摘要:https://www.cnblogs.com/wacc/p/5495448.html 贝叶斯线性回归 问题背景: 为了与PRML第一章一致,我们假定数据出自一个高斯分布: \[p(t|x,\mathbf{w},\beta)=\mathcal{N}(t|y(x,\mathbf{w}),\beta^{ 阅读全文
posted @ 2022-02-17 18:30 筷点雪糕侠 阅读(97) 评论(0) 推荐(0) 编辑
摘要:1.摘抄1-老外的一些解释 https://stats.stackexchange.com/questions/305078/how-to-compute-equation-1-68-of-bishops-book I was treating the problem as having four 阅读全文
posted @ 2022-02-17 08:52 筷点雪糕侠 阅读(121) 评论(0) 推荐(0) 编辑
摘要:#一些记号和回顾 |参数 | 含义 | | | : | | N | 样本量 | |x=(x1,...,xN)T|| |t=(t1,...,tN)T|| |\(p(x\|\mu,\sigma^2)=\prod\limits_ 阅读全文
posted @ 2022-02-17 08:27 筷点雪糕侠 阅读(534) 评论(0) 推荐(0) 编辑
摘要:为了使得后验分布计算简单,为此引入共轭先验分布 #1.共轭分布族 \(设总体X的分布密度为p(x|\theta),F^*为\theta的一个分布族,\pi(\theta)为\theta的任意一个先验分布,\pi(\theta)\in F^*,若对样本的任意观测值x,\theta的后验分布h(\the 阅读全文
posted @ 2022-02-15 22:46 筷点雪糕侠 阅读(1036) 评论(1) 推荐(0) 编辑
摘要:#1.一些记号和回顾 |参数 | 含义 | | | : | | N | 样本量 | |x=(x1,...,xN)T|| |t=(t1,...,tN)T|| |\(p(x\|\mu,\sigma^2)=\prod\limit 阅读全文
posted @ 2022-02-14 23:06 筷点雪糕侠 阅读(135) 评论(0) 推荐(0) 编辑
摘要:https://math.stackexchange.com/questions/171226/stuck-with-handling-of-conditional-probability-in-bishops-pattern-recognition 在本书的第10.8章节重新讲到了高斯模型的概率图 阅读全文
posted @ 2022-02-14 23:04 筷点雪糕侠 阅读(151) 评论(0) 推荐(0) 编辑
摘要:1.一元高斯分布 2.多元高斯分布 D,μ,D×DΣ X,Y $[cov[x,x]cov[x,y] cov[y,x]cov[y,y] ],对 阅读全文
posted @ 2022-02-14 21:46 筷点雪糕侠 阅读(57) 评论(0) 推荐(0) 编辑
摘要:      (classical)(frequentist)(Bay 阅读全文
posted @ 2022-02-13 22:29 筷点雪糕侠 阅读(54) 评论(0) 推荐(0) 编辑
摘要:1.期望 :E[f]=xp(x)f(x) :E[f]=xp(x)f(x)dx 如果我们给定有限数量的N个点,这些点满⾜某个概率分布或者概率密度函数,那么期望可以通过求和的⽅式估计 \( 阅读全文
posted @ 2022-02-13 21:26 筷点雪糕侠 阅读(46) 评论(0) 推荐(0) 编辑
摘要:1.概率密度函数 - pdf (probability density function) x(x,x+δx)p(x)δxδx0p(x)x(probabilitydensity)。\(图1.12说明 阅读全文
posted @ 2022-02-13 21:04 筷点雪糕侠 阅读(333) 评论(0) 推荐(0) 编辑
摘要:1.联合概率,边缘概率,条件概率 $假设有两个离散随机变量X,Y,X有5种取值,Y有3种取值,做N次试验,其中我们 对X和Y 都进⾏取样,把X = x_i且Y = y_j的试验的数量记作n_{ij}。并且,把X取值x_i(与Y 的取 值⽆关)的试验的数量记作c_i,类似地,把Y 取值y_j的试验的数 阅读全文
posted @ 2022-02-12 23:36 筷点雪糕侠 阅读(122) 评论(0) 推荐(0) 编辑
摘要:1.机器学习问题分类 $\begin{cases} 监督学习\begin{cases} 回归问题(regression,连续)\ 分类问题(classification,离散)\ \end{cases}\ 无监督学习\begin{cases} 聚类(clustering)\ 密度估计(density 阅读全文
posted @ 2022-02-12 17:55 筷点雪糕侠 阅读(134) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示