随笔分类 - Brain-Bayes
I'm a Bayesian.
摘要：内容范围如题。Lec 08-11的内容：https://www.youtube.com/watch?v=Qa04kw1gKHk&index=36&list=PLQiVpyxVlLkbpeXN-HvANQf-txsqjlAeL From: http://blog.sina.com.cn/s/blog_
阅读全文
摘要：<Deep Learning> Ian Goodfellow Yoshua Bengio Aaron Courvill 关于此书Part One重难点的个人阅读笔记。 2.7 Eigendecomposition we decompose a matrix into a set of eigenve
阅读全文
摘要：6 Markov Networks 系列 因果影响的独立性 noisy-or模型 和 广义线性模型 略，暂时不感兴趣。 Pairwise Markov Networks The last col is Happy value; [B,C]可见对课程的评价非常一致, they really agree
阅读全文
摘要：以下是HMM，当emission probability变为高斯时，只需改变其中相关部分即可，也就是下图最后一行。 如下可见，在优化过程中套路没有太大的影响，但变为高斯后表达变得更精确了呢。 当然，这里只是变成了一个高斯，既然我们发现emisson的优化是独立的，那么咱就再升级一下变为gmm可否？
阅读全文
摘要：为了世界和平，为了心知肚明，决定手算一次 Variational Inference for Bayesian GMMs 目的就是达到如下的智能效果，扔进去六个高斯，最后拟合结果成了两个高斯，当然，其余四个不是消失了，而是重叠在了一起。 是不是很神奇？！ 写出联合分布，利用变分公式求近似。 首先 q
阅读全文
摘要：这里的一些东西只是将过去已有的东西用PGM解释了一遍，但优势还是明显的，对整体认识有帮助。 Video: https://www.youtube.com/watch?v=ogs4Oj8KahQ&index=13&list=PL50E6E80E8525B59C 3 - 1 - Overview of
阅读全文
摘要：2 - 1 - Semantics & Factorization 2 - 2 - Reasoning Patterns 2 - 3 - Flow of Probabilistic Influence 2 - 4 - Conditional Independence 2 - 5 - Independ
阅读全文
摘要：学术潜规则： 概率图模型提出的意义在于将过去看似零散的topic/model以一种统一的方式串联了起来，它便于从整体上看待这些问题，而非具体解决了某个细节。 举个例子：梯度下降，并非解决神经网络收敛问题而专门提出的什么算法，其实是凸优化理论中的一部分。凸优化理论的作用就是概率图模型的贡献所在。 统计
阅读全文
摘要：From: https://alexanderetz.com/2015/08/09/understanding-bayes-visualization-of-bf/ Nearly被贝叶斯因子搞死，找篇神文舔。 In the first post of the Understanding Bayes
阅读全文
摘要：From: https://alexanderetz.com/2015/07/25/understanding-bayes-updating-priors-via-the-likelihood/ Reading note. In a previous post I outlined the basi
阅读全文
摘要：From: https://alexanderetz.com/2015/04/15/understanding-bayes-a-look-at-the-likelihood/ Reading note. Much of the discussion in psychology surrounding
阅读全文
摘要：From: https://www.cs.cmu.edu/~scohen/psnlp-lecture6.pdf 不错的PPT，图示很好。 伯努利分布 和 多项式分布 Binomial Distribution的共轭先验Beta Distribution。 贝塔分布的范围符合色子的每一面的概率理解。
阅读全文
摘要：虽然openBugs效果不错，但原理是什么呢？需要感性认识，才能得其精髓。 Recall [Bayes] prod: M-H: Independence Sampler firstly. 采样法 Recall [ML] How to implement a neural network then.
阅读全文
摘要：Bayesian inference Using Gibbs Sampling 允许用户指定复杂的多层模型，并可使用MCMC算法来估计模型中的未知参数。 We use DAGs to specify models. 这里只涉及简单的贝叶斯网络，具体学习可见： Carnegie Mellon Univ
阅读全文
摘要：重要的是Gibbs的思想。 全概率分布，可以唯一地确定一个联合分布 Hammersley-Clifford 多元高斯分布 当然，这个有点复杂，考虑个简单的，二元高斯，那么超参数就是： 二元高斯联合分布： 将其中一个作为已知常数，也就是求条件分布，正好就体现了Gibbs的特性： 采样结果：
阅读全文
摘要：[Bayes] prod: M-H: Independence Sampler for Posterior Sampling dchisq gives the density, # 计算出分布下某值处的密度值 pchisq gives the distribution function, qchis
阅读全文
摘要：不错的文章：LDA-math-MCMC 和 Gibbs Sampling 可作为精进MCMC抽样方法的学习材料。 简单概率分布的模拟 Box-Muller变换原理详解 本质上来说，计算机只能生产符合均匀分布的采样。如果要生成其他分布的采样，就需要借助一些技巧性的方法，例如我们在前面的文章提到过的逆变
阅读全文
摘要：runifum Inversion Sampling 看样子就是个路人甲。 Ref: [Bayes] Hist & line: Reject Sampling and Importance Sampling -sign(xx) 算是一个表达技巧，将原本两个半图，合并在了一起，如下： 简化技巧 Y =
阅读全文
摘要：gamma分布的density的奇怪特性，如下： Poisson的Gamma先验 h(x) 的置信区间 的 获取 Monte Carlo sampling: Sampling估计的分位点，看来与True value差不多呢。 问题来了，N要多大才能保证要求的分位点估计精度：Sol 要 accordi
阅读全文
摘要：吻合度蛮高，但不光滑。 API DOC: https://stat.ethz.ch/R-manual/R-devel/library/stats/html/density.html 参见： http://blog.csdn.net/yuanxing14/article/details/4194848
阅读全文
