摘要：
Machine Learning Note Introduction Introduction What is Machine Learning? Two definitions of Machine Learning are offered. Arthur Samuel described it 阅读全文
2018年11月4日
摘要：
离散与维灾难 到目前为止，我们主要讲述了在有限状态空间下的MDP，现在我们讨论一下在可能是无限状态空间下的MDP。举个例子说，一辆车，我们可以用(x, y, θ, , , )来表示状态，其中(x,y)表示位置，θ是方向，在x、y方向速度分别为, ，角速度为。因此，S = R6，是在无限的状态集合里， 阅读全文
摘要：
线性二次型调节控制 现在我们讨论一个用于连续状态MDP的一个寻找最优策略的一个方法。该方法中我们直接近似V∗，而不采用离散化。该方法称之为值函数近似，在很多实际RL问题都有很好的应用。 为了发展一个值函数近似算法，我们假设对于MDP，我们有一个模型(model)或仿真器(simulator)。通俗的 阅读全文
摘要：
奇异值分解 作为PCA的经典应用之一，是在文本分类中，这样的方法有一个专有的名字，叫潜在语义索引(LSI , laten semantic indexing )。这部分需要注意的是，在文本分类中，不需要先进行归一化处理（PCA 要求归一化处理），因为这里考虑了词语出现的次数。鉴于课件空缺，这里从网上 阅读全文
摘要：
马尔可夫决策过程 现在我们开始讨论增强学习(RL，reinforcement learning)和自适应控制( adaptive control)。在监督式学习中，我们的算法总是尝试着在训练集合中使预测输出尽可能的模仿（mimic）实际标签y（或者潜在标签）。在这样的设置下，标签明确的给出了每个输入 阅读全文
摘要：
主成分分析法 EM算法求解因子分析 对于EM算法而言，E-步是非常简单的，我们只需要计算Qi(z(i)) =p(z(i)|x(i); µ, Λ, Ψ)。然而在这里的条件分布为，z(i)|x(i); µ, Λ, Ψ ∼ N (µz(i)|x(i) , Σz(i)|x(i))，这里满足： 由此，我们得到 阅读全文
摘要：
K-means算法 在聚类问题中，给定数据集{x(1), . . . , x(m)}，想要把这些数据划分成几个紧密联系的簇（clusters）。通常情况下，这里的x(i)∈ Rn，而标签y(i)是未知的。因此这是一个非监督式学习（unsupervised learning）问题。 最简单的聚类算法是 阅读全文
摘要：
高斯混合模型 根据EM的定义，我们重新回顾一下高斯混合中的ϕ，µ和Σ参数拟合。为了简单起见，这里我们在M-步中仅更新φ，µj，而把Σj的更新留给大家自己推导。 E-步是很容易的，根据上面的推导，我们计算： w(i)j = Qi(z(i)= j ) = P(z(i)= j |x(i); ϕ, µ, Σ 阅读全文