12 2017 档案
摘要：kNN是一种基本分类与回归方法。k-NN的输入为实例的特征向量，对应于特征空间中的点；输出为实例的类别，可以取多类。k近邻实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。k值的选择、距离度量及分类决策规则是k近邻的三个基本要素。算法输入：训练数据集T={(x1,y1),(x2,y2),……..,(xN,yN)}输出：实例x所属的类y（1）根据给定的距离度量，在训练集T中找到与x...
阅读全文
摘要：第一示例： 下载安装 略 基本使用 图（graph）：表示计算任务 会话（Session）：用于执行图 张量（tensor）：用于表示数据 变量（variable）：用于维护状态 feed和fetch:可以为任意操作赋值或从中获取数据 TensorFlow 是一个编程系统，使用图来表示计算任务。图中
阅读全文
摘要：拉普拉斯分布的定义与基本性质其分布函数为分布函数图其概率密度函数为密度函数图拉普拉斯分布与正太分布的比较从图中可以直观的发现拉普拉斯分布跟正太分布很相似，但是拉普拉斯分布比正太分布有尖的峰和轻微的厚尾。
阅读全文
摘要：介绍神经元的突触可塑性一般被认为是大脑学习与记忆的分子生物学机制，它是指突触传递效率增强或减弱的变化现象。若这种变化只持续数十毫秒到几分，便称之为短时程突触可塑性，其中效率增强与减弱分别叫做短时程增强（short-term enhancement）与短时程抑制(short-term depressed)；而持续数百毫秒的增强又被称之为短时程易化( short-term facilitation)...
阅读全文
摘要：LDA涉及到的先验知识有：二项分布、Gamma函数、Beta分布、多项分布、Dirichlet分布、马尔科夫链、MCMC、Gibbs Sampling、EM算法等。 二项分布 二项分布是N重伯努利分布，即为X ~ B(n, p). 概率密度公式为： 多项分布 多项分布，是二项分布扩展到多维的情况.
阅读全文
摘要：在贝叶斯概率理论中，如果后验概率和先验概率满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。 Beta分布是二项式分布的共轭先验分布，而狄利克雷(Dirichlet)分布是多项式分布的共轭分布。 共轭的意思是，以Beta分布和二项式分布为例，数据符合
阅读全文
摘要：决策树是一种基本的分类和回归方法。本章主要讨论用于分类的决策树，决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最
阅读全文
摘要：1.什么是稀疏表示： 用较少的基本信号的线性组合来表达大部分或者全部的原始信号。 其中，这些基本信号被称作原子，是从过完备字典中选出来的；而过完备字典则是由个数超过信号维数的原子聚集而来的。可见，任一信号在不同的原子组下有不同的稀疏表示。 假设我们用一个M*N的矩阵表示数据集X，每一行代表一个样本，
阅读全文
摘要：接下来一段时间开启脉冲神经网络模型的探索之旅。脉冲神经网络有更强的生物学基础，尽可能地模拟生物神经元之间的连接和通信方式。其潜在能力较强，值得踏进一步探索。 构建脉冲神经网络模型，至少需要考虑三点：1. 外界刺激编码2. 构建神经元模型3. 制定学习规则 外界刺激的编码方式主要有Rate Codin
阅读全文
摘要：EM算法简述 EM算法是一种迭代算法，主要用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步完成： E步，求期望 M步，求极大。 EM算法的引入 如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法或贝叶斯估计法估计模型参数，但是当模型中含有隐
阅读全文
摘要：LDA是一种典型的词袋模型，即它认为一篇文档是由一组词构成的一个集合，词与词之间没有顺序以及先后的关系。一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。它是一种主题模型，它可以将文档集中每篇文档的主题按照概率分布的形式给出；同时是一种无监督学习算法，在训练时不需要手工标注的训练集，需要的仅仅是文档集以及指定主题的数量k即可；此外LDA的另一个优点则是，对于每一个主题均可找出一些词语...
阅读全文
摘要：DFP 该算法的核心是：通过迭代的方法，对Hk+1(-1)近似。迭代方式： 其中D0通常取为单位矩阵，关键是每一步构造矫正矩阵△Dk。 考虑△Dk 的待定形式为 拟牛顿的条件 这里插播一下拟牛顿的条件。 前面有讲到，拟牛顿法是想找到一个近似矩阵D来近似海森矩阵H的逆。显然D的选择是必须有条件的。为了
阅读全文
摘要：原因分析：Python导入模块的方法有两种： import module 和 from module import 区别是前者所有导入的东西使用时需加上模块名的限定，而后者则不需要 例： >>>import pprint >>>pprint.pprint(people) OR >>>from ppr
阅读全文
摘要：Armijo-Goldstein准则与Wolfe-Powell准则是不精确的一维搜索的两大准则。 之所以要遵循这些准则是为了能使算法收敛（求最优解）。即要使我们的不精确的一维搜索的步长满足一定的规则，使之后的求最优解的过程不至于因为步长过大或者过小而不收敛。 Armijo-Goldstein准则 A
阅读全文
摘要：拟牛顿法 拟牛顿法是求解非线性优化问题最有效的方法之一。DFP、BFGS、L-BFGS算法都是重要的拟牛顿法。 求函数的根 对f（x）在Xn附近做一阶泰勒展开 f(x)=f(Xn)+f’(Xn)(x-Xn) 假设Xn+1是该方程的根 那么就得到 Xn+1=Xn-f(Xn)/f’(Xn) 通过不断迭代
阅读全文
摘要：随机过程基本概念： 随机过程是一个比随机变量更广泛的概念。在概率论中，通常研究一个或多个这样有限个数的随机变量，即使在大数定律和中心极限定理中考虑了无穷多个随机变量，但也要假设随机变量之间互相独立。而随机过程主要是研究无穷多个互相不独立的、有一定相关关系的随机变量。随机过程就是许多随机变量的集合，代
阅读全文
摘要：定义： 隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。 隐马尔科夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。 Q={q1,q2,q3,…….qN}————————————所有可能的状态集
阅读全文
