随笔分类 - 统计学
摘要：关于数理统计基础知识的一点补漏一、数学期望数学期望也称为均值、期望，在物理学中称为期待值。在概率论和统计学中，一个离散型随机变量的期望值是实验中每次可能结果的概率乘以其结果的总和。定义：离散型随机变量的一切可能取值与其对应的概率p的乘积之和称为数学期望。需要注意的是，期望值并不一定等于常识中“期望”...
阅读全文
摘要：为什么样本方差（sample variance）的分母是 n-1？ （補充一句哦，題主問的方差 estimator 通常用 moments 方法估計。如果用的是 ML 方法，請不要多想不是你們想的那樣， 方差的 estimator 的期望一樣是有 bias 的，有興趣的同學可以自己用正態分佈算算看。
阅读全文
摘要：再谈协方差矩阵之主成分分析自从上次谈了协方差矩阵之后，感觉写这种科普性文章还不错，那我就再谈一把协方差矩阵吧。上次那篇文章在理论层次介绍了下协方差矩阵，没准很多人觉得这东西用处不大，其实协方差矩阵在好多学科里都有很重要的作用，比如多维的正态分布，再比如今天我们今天的主角——主成分分析(Princip...
阅读全文
摘要：支撑统计学的七大支柱！JSM上统计界的老帮主Stephen Stigler做了一个主题演讲，讲“统计学的七大支柱”，好心又认真的Rick Wicklin同学记了笔记，彼时估计还在中国城吃饭的我才得以了解SS大人到底讲了什么。回头看看笔记，我觉得SS大人有点吹嘘统计学之嫌。所谓支柱，就是没了它咱就垮了...
阅读全文
摘要：PCA的数学原理PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的...
阅读全文
摘要：【综述】(MIT博士）林达华老师－"概率模型与计算机视觉”距上一次邀请中国科学院的樊彬老师为我们撰写图像特征描述符方面的综述（http://www.sigvc.org/bbs/thread-165-1-1.html）之后，这次我们荣幸地邀请到美国麻省理工学院（MIT）博士林达华老师为我们撰写“概率模...
阅读全文
摘要：听同事讲 Bayesian statistics: Part 2 - Bayesian inference摘要：每天坐地铁上班是一件很辛苦的事，需要早起不说，如果早上开会又赶上地铁晚点，更是让人火烧眉毛。在城市里工作的人，很多是需要搭乘地铁上下班的，也包括同事M。有一次M早上来得比较晚，进办公室以后...
阅读全文
摘要：Kernel PCA 原理和演示主成份（Principal Component Analysis）分析是降维（Dimension Reduction）的重要手段。每一个主成分都是数据在某一个方向上的投影，在不同的方向上这些数据方差Variance的大小由其特征值（eigenvalue）决定。一般我们...
阅读全文
摘要：A Statistical View of DeepLearning (V): Generalisation and RegularisationWe now routinely buildcomplex, highly-parameterised models in an effort to ad...
阅读全文
摘要：A Statistical View of Deep Learning(IV): Recurrent Nets and Dynamical SystemsRecurrent neural networks (RNNs) are now established as one of the key to...
阅读全文
摘要：A Statistical View of DeepLearning (III): Memory and KernelsMemory,the ways in which we remember and recall past experiences and data to reason about ...
阅读全文
摘要：A Statistical View of Deep Learning(II): Auto-encoders and Free EnergyWith the success ofdiscriminative modellingusing deep feedforward neural network...
阅读全文
摘要：A Statistical View of DeepLearning (I): Recursive GLMsDeep learningand the use of deep neural networks [1] are now established as a key tool for pract...
阅读全文
摘要：Computational Methods in Bayesian AnalysisComputational Methods in Bayesian Analysis【Markov chain Monte Carlo】【Gibbs Sampling】【The Metropolis-Hastings...
阅读全文
摘要：置信区间置信区间(Confidence interval)什么是置信区间 置信区间又称估计区间，是用来估计参数的取值范围的。常见的52%-64%，或8-12，就是置信区间（估计区间）置信区间的计算步骤 第一步：求一个样本的均值 第二步：计算出抽样误差。 人们经过实践，通常认为调查: 100...
阅读全文
摘要：听同事讲 Bayesian statistics: Part 1 - Bayesian vs. Frequentist摘要：某一天与同事下班一同做地铁，刚到地铁站，同事遇到一熟人正从地铁站出来。俩人见面都特别高兴，聊了许久。过后我问她这人是谁，她说是她的朋友，伯克利的教授Michael Jordan...
阅读全文
