摘要:
Bayesian Estimation如何给出模型W的分布? 坑 W是一个列向量; 现在的理解: 1、Bayesian Estimation和(Maxium Likehood Estimation、Maxium a Posteri Estimation)... 阅读全文
摘要:
或者说,不在上述4大步骤中?又或者说,是上述4大步骤的统一? 如何理解? 坑 先写一种理解: 1、上述三个名词MLE、MAP和Bayesian是概率模型领域的三大基本思想。 2、和线性模型不同;(线性模型如W^T*X+b = 0,SVM就是一种最简单的线... 阅读全文
摘要:
1、定义模型(ω或者θ) 2、定义评价模型的loss function(J(ω)或者J(θ)); 3、采用优化的方法找到最合适的参数ω = arg min J(ω); 4、解决过拟合问题: -> 对模型施加正则项:||ω|| 一范数,使得模型中大部分的参数都为... 阅读全文
摘要:
MLE:调整模型的参数,是的所有样本出现的可能性最大。(默认前提,所有模型等概率); MAP:调整模型的参数,是的所有样本出现的可能性最大。但是每个模型的出现的概率是p(\theta)。 换句话说,就是已知样本的前提下,模型参数最可能是什么?p(\theat|... 阅读全文
摘要:
https://www.cnblogs.com/little-YTMM/p/5399532.html 在他的介绍中: 线性回归、线性分类、逻辑回归、SVM、深度学习等模型 和 贝叶斯模型 是等价的 非常好的一个切入点,解决了我多年的困惑。 ... 阅读全文
摘要:
坑 网上所有的教程都在讲,贝叶斯定理的基本思想。 但是没有讲贝叶斯定理 跟 我心中样本X之间的联系。 我知道 后验概率 = 先验概率 * 调整因子。 每当来了一个样本,我就调整一下后验概率。 ------------------------- 贝叶斯... 阅读全文
摘要:
https://jingyan.baidu.com/article/4d58d541cb71a5dcd4e9c0cf.html 1、先把绘图标签页调出来; 2、更改颜色 阅读全文
摘要:
坑。 样本的协方差矩阵,代表各个维度的协方差,协方差刻画的是维度间的相关性。 如何计算一组样本的协方差? 坑 ∑ = 1/n(X)(X^T) 阅读全文
摘要:
坑 阅读全文
摘要:
坑 1、协方差矩阵刻画了,维度和维度之间的相关性; 2、如果手上的样本X,经过了线性变换成为Y = wX(可以是直线投影(降维)、缩放(维度不变)、升维度);原始样本的协方差矩阵为∑=1/n(XX^T),变换后的样本协方差为 (w^T)∑w,如何推导,请看下... 阅读全文