[Bayesian] “我是bayesian我怕谁”系列 - Latent Variables
写在之前
下一章有意讲讲EM和变分推断的内容。
EM和变分推断的内容能Google到很多，虽然质量乘次不齐，但也无意再赘述那么些个细节。
有意记录一些核心思想，帮助菜鸡形成整体上的认识。不过，变分推断也不是一篇博文能讲述通透的技术，希望读者至少知道自己将要学一个什么好东西，能用它来做什么。
私以为，变分的理解就是统计机器学习的核心，那么，
-
- 不懂变分怎么能说学会了统计机器学习？ P(统计机器学习 | 变分)
- 不会统计机器学习怎么自诩会机器学习？ P(机器学习 | 统计机器学习)
- 不懂机器学习如何有资格研究深度学习？ P(深度学习 | 机器学习)
- 不懂深度学习又怎么能从事人工智能呢？ P(人工智能 | 深度学习)
- 求边缘条件概率分布：P(人工智能 | 变分=False) = ?
隐变量
但在此之前，需要提提Latent Variables隐变量。
隐变量，潜在的隐藏的变量，这个东西非常好，同时也能启迪你一些人生哲学。
“若能肯定自己，需要之前有一段否定自己的过程。“
看到的，即使看似合理也要抱着怀疑自己的态度，寻求背后的真实状态，比如hmm。
Figure, HMM PGM
看到了表象y，y之间貌似相关性也很强，但就是要先怀疑自己，反问：是否有”幕后黑手x“控制着整个局面？
然后，假设了隐变量以及之间的概率关系，剩下的问题就是如何求解概率关系的过程，即各个边（条件概率分布）咯。
因为要用到隐变量，所以更需要概率图来给读者以直观的感受，不同场景不同模型中的隐变量设计又有很多的共性，概率图中对这些共性的研究也可以形成一种”定理”类似的东西，发现某个新问题的概率图有某种共性出现，直接使用对应的性质即可，而不是重新造轮子。
有菜鸡问了，加那么多隐变量，边自然就多了，也就是需要估计的概率关系（变量）多了，自找麻烦么？
麻烦确实不少，所以不能加太多，但也有变态的事情，比如头几年的日本学界，据说有人在模型中加了二十多个圈圈，然后论文就容易发表了。（不可考证，笑笑即可）
变分推断就是估参的一个利器，既然是估计参数，就不必在精度上斤斤计较，渐进就好，当然”逼近真实“，“逼近的程度”也是一门艺术，更是技术。提到渐进，也就是常说的”优化“，其实机器学习整个领域都充斥着优化方法，你说不学“优化理论”能混下去么？
菜鸡菜鸡，不学习《多元变量分析》、《优化》，如何登榜提名，好发愁。
哎，到处都是潜规则。
还有一个原因，隐变量都是自己设计的，当然要设计一个友好的，隐变量间关系比较强，容易计算，且相对通用的结构。
而变分推断中假设了一些友好的分布来尽可能的逼近实际分布，在这个逼近的过程中，当然希望承载在一个相对友好的变量关系上面。
如此看来，似乎明了了许多。
变分推断 pk MCMC
变分推断的目的是逼近真实分布，mcmc采样方法也是同样的目的，二者选其一皆可。
至于两者的优劣，可以百度之，内容散布烂大街。
EM可以理解为变分推断的一种狭义情况，好比二项分布是狭义的多项分布。
说到底， Latent Variables真没什么，多几个圈圈又能如何呢。
补充一个链接，隐变量自然而然地被引出过程：[Bayes] KL Divergence & Evidence Lower Bound
该链接内容也是下一章变分推断的基础。
CMU, Machine Learning 10-702
最近，cmu的Machine Learning 10-702刷屏，互联网带来的教育共享就是好啊，好东西就在网上，你能嗅得到么？让我们瞧上一瞧。
[Schedule]
Here is the estimated class schedule. It is subject to change, depending on time and class interests.
| Tues Jan 17 | L | Linear regression | Notes, video | |
| Thurs Jan 19 | L | Linear classification | Notes, video, cool plot | |
| Tues Jan 24 | R | Nonparametric regression | Notes, video | |
| Thurs Jan 26 | R | Nonparametric regression | Notes, video | |
| Tues Jan 31 | R | Nonparametric regression | Notes, video | |
| Thurs Feb 2 | R | Nonparametric classification | Notes, video | Hw 1 due Fri Feb 3 |
| Tues Feb 7 | L | Reproducing kernel Hilbert spaces | Notes, video | |
| Thurs Feb 9 | L | Density estimation | Notes, video | |
| Tues Feb 14 | L | Clustering | Notes, video | |
| Thurs Feb 16 | L | Clustering | Notes, video | Project milestone 1 due Fri Feb 17 |
| Tues Feb 21 | L | Clustering | Notes, video | |
| Thurs Feb 23 | L | High-dimensional testing | Notes, video | |
| Tues Feb 28 | L | Concentration of measure | Notes, video | |
| Thurs Mar 2 | L | Concentration of measure | Notes, video | Hw 2 due Fri Mar 3 |
| Tues Mar 7 | - | Midterm | ||
| Thurs Mar 9 | - | Spring break (no class) | ||
| Tues Mar 14 | - | Spring break (no class) | ||
| Thurs Mar 16 | - | Spring break (no class) | ||
| Tues Mar 21 | L | Minimax theory | Notes, video | |
| Thurs Mar 23 | L | Minimax theory | Notes, video | |
| Tues Mar 28 | R | Sparsity and the lasso | Notes, video | |
| Thurs Mar 30 | R | Sparsity and the lasso | Notes, video | Hw 3 due Mon Apr 3 |
| Tues Apr 4 | R | Sparsity and the lasso | Notes, video | |
| Thurs Apr 6 | R | Sparsity and the lasso | Notes, video | Project milestone 2 due Mon Apr 10 |
| Tues Apr 11 | L | Graphical models | Notes, video | |
| Thurs Apr 13 | L | Graphical models | Notes, video | |
| Tues Apr 18 | L | Advanced topic | Lei, Robins, and Wasserman, and Lei and Wasserman |
|
| Thurs Apr 20 | - | Spring Carnival (no class) | ||
| Tues Apr 25 | R | Advanced topic | Lei, Robins, and Wasserman, and Lei and Wasserman |
Hw 4 due Wed Apr 26 |
| Thurs Apr 27 | R | Advanced topic | Lee, Sun, Sun, and Taylor, and Tibs, Taylor, Lockhart, and Tibs |
|
| Tues May 2 | - | Course conference | Slides | |
| Thurs May 4 | - | Course conference | Slides | Project writeup due Fri May 5 |
主页：http://www.cs.cmu.edu/~10702/
从大纲看去，跟我的计划内容大有区别。真可谓：你有隐变量，我有潜规则。
如果你是数学系的同学，对数据分析感兴趣，学成之后，千万不要在计算机系的同学面前自夸数据分析；搞数据分析（机器学习）的计算机的同学们也不要在数学系面前卖弄算法。
很可能，很可能，很可能。。。 你们争辩的不是一个东西，但名字却都叫“统计学习”或者相关的名字。
不要纠结我的说法，自个儿瞧瞧各大院校统计学习课程的大纲，然后对比，玩味。
那么问题来了，为什么会如此？
数学系做数据分析很正常，往往从Linear regression，Linear classification这些考验数学基础的地方入手，如cmu的这份教学大纲；计算机系则更注重实用性更强的模型学习。
统计机器学习内部也有派别，一派的代表就是prml，似乎更强调工程实践性，下图左；另一派的代表就是小黄书《The Elements of Statistical Learning》，偏重数学系口味（翻开高数小绿书的感觉），下图右。
左, prml; 右, little yellow book
当然了，到底学习的是哪个派别跟课程设在cse or math没有太多相关，主要还是看讲课教授的品味。
-
- 不要问我学哪一本比较好，我觉得都学了比较好。
- 不要问我哪一本更有优势，正妹从哪个角度看都是正妹。
正所谓知己知彼百战不殆，你若有心干掉数学系出身的竞争对手，建议“深入敌后，趁其课，学其书，使其优势化为乌有”。
这也是交叉学科领域的生存之道。
最后，cmu的课程设计更偏重数学修炼，这也是名校的潜规则。
