随笔分类 - Brain-Bayes
I'm a Bayesian.
摘要：JJ学习的c++等高效的实现 https://github.com/luxiaoxun/KMeans-GMM-HMM OpenCV里面自带的 https://docs.opencv.org/4.0.0/d8/df1/namespacecv_1_1ml.html dlib http://dlib.ne
阅读全文
摘要：Lecturer 咖中咖 Tomaso A. Poggio Lecture slice Lecture video 三个基本问题： Approximation Theory: When and why are deep networks better than shallow networks? O
阅读全文
摘要：本篇围绕“深度渲染混合模型”展开。 Lecture slices Lecture video Reading list 13:49 / 1:30:37 GAN的统计意义：统计假设检验 GAN 一定意义上成为了classical statistical hypothesis testing，判断新产生
阅读全文
摘要：大咖秀，注意提问环节大家的表情，深入窥探大咖的心态，很有意思。 之前有NG做访谈，现在这成了学术圈流行。 Video: https://www.youtube.com/watch?v=oCohnBbmpLA Lecture: https://stats385.github.io/assets/lec
阅读全文
摘要：Theories of Deep Learning 借该课程，进入战略要地的局部战斗中，采用红色字体表示值得深究的概念，以及想起的一些需要注意的地方。 Lecture 01 Lecture01: Deep Learning Challenge. Is There Theory? (Donoho/Mo
阅读全文
摘要：科班出身，贝叶斯护体，正本清源，故拿”九阳神功“自比，而非邪气十足的”九阴真经“； 现在看来，此前的八层功力都为这第九层作基础； 本系列第九篇，助/祝你早日hold住神功第九重，加入血统纯正的人工智能队伍。 小喇叭：本系列文章乃自娱自乐，延缓脑细胞衰老；只“雪中送炭”，不提供”全套服务“。 九阳神功
阅读全文
摘要：本是neural network的内容，但偏偏有个variational打头，那就聊聊。涉及的内容可能比较杂，但终归会 end with VAE. 各个概念的详细解释请点击推荐的链接，本文只是重在理清它们之间的婆媳关系。 无意中打开了：中国科大iGEM项目报告，感慨颇多，尤其是时光，这其中也包含了写
阅读全文
摘要：使用Boltzmann distribution还是Gibbs distribution作为题目纠结了一阵子，选择前者可能只是因为听起来“高大上”一些。本章将会聊一些关于信息、能量这方面的东西，体会“交叉学科”的魅力。 In statistical mechanics and mathematics
阅读全文
摘要：循序渐进的学习步骤是： Markov Chain --> Hidden Markov Chain --> Kalman Filter --> Particle Filter Markov不仅是一种技术，更是一种人生哲理，能启发我们很多。 一个信息爆炸的时代 一、信息的获取 首先要获得足够多的信息以及
阅读全文
摘要：写在前面 数据降维的几种形式 数据降维的几种方法，包括PCA、LDA、ICA等，另外还有一种常用的降维方法就是因子分析。 关于这几种方法的各自的优劣，有必要之后跟进一下。 概率图角度理解 打开prml and mlapp发现这部分目录编排有点小不同，但神奇的是章节序号竟然都为“十二”。 prml：p
阅读全文
摘要：涉及的领域可能有些生僻，骗不了大家点赞。但毕竟是人工智能的主流技术，在园子却成了非主流。 不可否认的是：乃值钱的技术，提高身价的技术，改变世界观的技术。 写在前面 关于变分，通常的课本思路是： GMM --> EM --> VI --> Variational Bayesian Gaussian M
阅读全文
摘要：写在之前 下一章有意讲讲EM和变分推断的内容。 EM和变分推断的内容能Google到很多，虽然质量乘次不齐，但也无意再赘述那么些个细节。 有意记录一些核心思想，帮助菜鸡形成整体上的认识。不过，变分推断也不是一篇博文能讲述通透的技术，希望读者至少知道自己将要学一个什么好东西，能用它来做什么。 私以为，
阅读全文
摘要：要整理这部分内容，一开始我是拒绝的。欣赏贝叶斯的人本就不多，这部分过后恐怕就要成为“从入门到放弃”系列。 但，这部分是基础，不管是Professor Daphne Koller，还是统计学习经典，都有章节focus on这里。 可能这些内容有些“反人类正常逻辑”，故让更多的菜鸡选择了放弃。 《MLa
阅读全文
摘要：机器学习路线 实用教材 先明确一些潜规则： 机器学习是个collection or set of models，一切实践性强的模型都会被归纳到这个领域，没有严格的定义，’有用‘可能就是唯一的共性。 机器学习是个collection or set of models，一切实践性强的模型都会被归纳到这个
阅读全文
摘要：最后还是选取一个朴素直接的名字，在此通过手算体会高斯的便捷和神奇。 Ref: The Matrix Cookbook 注意，这里的所有变量默认都为多元变量，不是向量就是矩阵。多元高斯密度函数如下： 高斯的线性组合结果y还是高斯 高斯的线性组合结果y还是高斯 期望答案很直接。 方差需要计算，注意其中的
阅读全文
摘要：L lower是什么？ L lower, 既然大于，那么多出来的这部分是什么？如下推导： 得出了KL的概念，同时也自然地引出了latent variable q。
阅读全文
摘要：比较难理解，通过做题来入门。 目的：简单的了解下相关概念。 基础 热身 目的：找x到y的映射关系。 假设：Ｑ latent functions {fi} fj 作为先验，跟x没什么直接关系，x只是作为承载超参数的载体。共有Q个，也就是有Q套超参数。 对于公式（4），x --> f --> (nois
阅读全文
摘要：粘贴两个典型的例子，只是基础内容，帮助理解。 (1) Solution: (2) Solution:
阅读全文
摘要：Naïve Bayes Classifier. We will use, specifically, the Bernoulli-Dirichlet model for text classification, We will train the model using both the Maxim
阅读全文
摘要：如何在贝叶斯网络中求解某变量的边缘分布？ 这是一个问题。 贝叶斯网络如下： CPTs如下： (1) How to compute p( L | C = high )？ p( L | C = high ) = p(L, C=high) / p(C=high) // Bayesian Theorem.
阅读全文
