摘要：
上一次我们谈到了用 k-means 进行聚类的方法，这次我们来说一下另一个很流行的算法：Gaussian Mixture Model (GMM)。事实上，GMM 和 k-means 很像，不过 GMM 是学习出一些概率密度函数来（所以 GMM 除了用在 clustering 上之外，还经常被用于 density estimation ），简单地说，k-means 的结果是每个数据点被 assign 到其中某一个 cluster 了，而 GMM 则给出这些数据点被 assign 到每个 cluster 的概率，又称作soft assignment。得出一个概率有很多好处，因为它的信息量比简单的一 阅读全文
摘要：
转：http://blog.pluskid.org/?p=39好久没有写 blog 了，一来是 blog 下线一段时间，而租 DreamHost 的事情又一直没弄好；二来是没有太多时间，天天都跑去实验室。现在主要折腾 Machine Learning 相关的东西，因为很多东西都不懂，所以平时也找一些资料来看。按照我以前的更新速度的话，这么长时间不写 blog 肯定是要被闷坏的，所以我也觉得还是不定期地整理一下自己了解到的东西，放在 blog 上，一来梳理总是有助于加深理解的，二来也算共享一下知识了。那么，还是从 clustering 说起吧。Clustering中文翻译作“聚类”，简单地说就是 阅读全文
摘要：
NumPy学习笔记 收集者：Keengle(http://www.kgblog.net)http://www.techwork.cn/paul/?p=530最近在学习scipy。在理解scipy之前，numpy作为scipy基本的模块之一，是不得不去理解掌握的。先总结一下numpy部分的内容吧。接下来学习scipy，最后是pylab和Matplotlib。介绍Numpy是一个Python的扩展模块，通过使用NumPy，我们可以进行科学计算。NumPy提供了矩阵、线性代数、傅里叶变换等的解决方法。NumPy包含：·N维矩阵对象·线性代数运算功能·傅里叶变换· 阅读全文
摘要：
EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的（），那么f是凸函数。如果或者，那么称f是严格凸函数。 Jensen不等式表述如下： 如果f是凸函数，X是随机变量，那么 特别地，如果f是严格凸函数，那么当且仅当，也就是说X是常量。 这里我 阅读全文
摘要：
在学习机器学习的有关知识时，搜索到JerryLead的cnblog中的Machine Learning专栏，里面对于机器学习的部分算法和知识点讲解地很经典和透彻。所以Mark在这，多多学习！http://www.cnblogs.com/jerrylead/tag/Machine%20Learning/偏最小二乘法回归（Partial Least Squares Regression）典型关联分析（Canonical Correlation Analysis）增强学习（Reinforcement Learning and Control）因子分析（Factor Analysis）线性判别分析（L 阅读全文
只有注册用户登录后才能阅读该文。 阅读全文