03 2018 档案
摘要：Baum Welch估计HMM参数实例 下面的例子来自于《What is the expectation maximization algorithm?》 题面是：假设你有两枚硬币A与B，这两枚硬币抛出正面的概率分别为和。下面给出一些观测的结果，需要你去估计这
阅读全文
摘要：这个问题困扰了我许久，下面是我搜集整理到的答案 1. 对偶问题将原始问题中的约束转为了对偶问题中的等式约束 2. 方便核函数的引入 3. 改变了问题的复杂度。由求特征向量w转化为求比例系数a，在原始问题下，求解的复杂度与样本的维度有关，即w的维度。在对偶问题下，只与样本数量有关。
阅读全文
摘要：Baum Welch算法就是EM算法，所以首先给出EM算法的Q函数 换成HMM里面的记号便于理解 $$Q(\lambda,\lambda') = \sum_zP(I|O,\lambda')\log P(I,O|\l
阅读全文
摘要：LR采用的Sigmoid函数与最大熵（ME) 的关系 从ME到LR 先直接给出最大熵模型的一般形式，后面再给出具体的推导过程。 $$\begin{align } P_w(y|x) &= \dfrac{1}{Z_w(x)}\exp\left(\sum_{i=1}^{n}w_if_i(x,y)\righ
阅读全文
摘要：01背包的常数优化的一点解释 在大牛dd的背包九讲中，提及01背包在一个常数级别的优化，不过作者未做出解释（个优化之所以成立的原因请读者自己思考）。下面记录自己的理解心得。 其中 . 注意到在空间优化后，内层循环已经变成逆序的了。也就是说，在给定物品i的时候，
阅读全文
