摘要：
EM算法简述 EM算法是一种迭代算法，主要用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步完成： E步，求期望 M步，求极大。 EM算法的引入 如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法或贝叶斯估计法估计模型参数，但是当模型中含有隐 阅读全文
摘要：
LDA是一种典型的词袋模型，即它认为一篇文档是由一组词构成的一个集合，词与词之间没有顺序以及先后的关系。一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。它是一种主题模型，它可以将文档集中每篇文档的主题按照概率分布的形式给出；同时是一种无监督学习算法，在训练时不需要手工标注的训练集，需要的仅仅是文档集以及指定主题的数量k即可；此外LDA的另一个优点则是，对于每一个主题均可找出一些词语... 阅读全文
摘要：
DFP 该算法的核心是：通过迭代的方法，对Hk+1(-1)近似。迭代方式： 其中D0通常取为单位矩阵，关键是每一步构造矫正矩阵△Dk。 考虑△Dk 的待定形式为 拟牛顿的条件 这里插播一下拟牛顿的条件。 前面有讲到，拟牛顿法是想找到一个近似矩阵D来近似海森矩阵H的逆。显然D的选择是必须有条件的。为了 阅读全文
摘要：
原因分析：Python导入模块的方法有两种： import module 和 from module import 区别是前者所有导入的东西使用时需加上模块名的限定，而后者则不需要 例： >>>import pprint >>>pprint.pprint(people) OR >>>from ppr 阅读全文
摘要：
Armijo-Goldstein准则与Wolfe-Powell准则是不精确的一维搜索的两大准则。 之所以要遵循这些准则是为了能使算法收敛（求最优解）。即要使我们的不精确的一维搜索的步长满足一定的规则，使之后的求最优解的过程不至于因为步长过大或者过小而不收敛。 Armijo-Goldstein准则 A 阅读全文
摘要：
拟牛顿法 拟牛顿法是求解非线性优化问题最有效的方法之一。DFP、BFGS、L-BFGS算法都是重要的拟牛顿法。 求函数的根 对f（x）在Xn附近做一阶泰勒展开 f(x)=f(Xn)+f’(Xn)(x-Xn) 假设Xn+1是该方程的根 那么就得到 Xn+1=Xn-f(Xn)/f’(Xn) 通过不断迭代 阅读全文
摘要：
随机过程基本概念： 随机过程是一个比随机变量更广泛的概念。在概率论中，通常研究一个或多个这样有限个数的随机变量，即使在大数定律和中心极限定理中考虑了无穷多个随机变量，但也要假设随机变量之间互相独立。而随机过程主要是研究无穷多个互相不独立的、有一定相关关系的随机变量。随机过程就是许多随机变量的集合，代 阅读全文
摘要：
定义： 隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。 隐马尔科夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。 Q={q1,q2,q3,…….qN}————————————所有可能的状态集 阅读全文