摘要：
简述梯度下降法又被称为最速下降法(Steepest descend method)，其理论基础是梯度的概念。梯度与方向导数的关系为：梯度的方向与取得最大方向导数值的方向一致，而梯度的模就是函数在该点的方向导数的最大值。现在假设我们要求函数的最值，采用梯度下降法，如图所示：梯度下降的相关概念 在详细了解梯度下降的算法之前，我们先看看相关的一些概念。 1. 步长（Learning rate... 阅读全文
摘要：
kNN是一种基本分类与回归方法。k-NN的输入为实例的特征向量，对应于特征空间中的点；输出为实例的类别，可以取多类。k近邻实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。k值的选择、距离度量及分类决策规则是k近邻的三个基本要素。算法输入：训练数据集T={(x1,y1),(x2,y2),……..,(xN,yN)}输出：实例x所属的类y（1）根据给定的距离度量，在训练集T中找到与x... 阅读全文
摘要：
第一示例： 下载安装 略 基本使用 图（graph）：表示计算任务 会话（Session）：用于执行图 张量（tensor）：用于表示数据 变量（variable）：用于维护状态 feed和fetch:可以为任意操作赋值或从中获取数据 TensorFlow 是一个编程系统，使用图来表示计算任务。图中 阅读全文
摘要：
拉普拉斯分布的定义与基本性质其分布函数为分布函数图其概率密度函数为密度函数图拉普拉斯分布与正太分布的比较从图中可以直观的发现拉普拉斯分布跟正太分布很相似，但是拉普拉斯分布比正太分布有尖的峰和轻微的厚尾。 阅读全文
摘要：
介绍神经元的突触可塑性一般被认为是大脑学习与记忆的分子生物学机制，它是指突触传递效率增强或减弱的变化现象。若这种变化只持续数十毫秒到几分，便称之为短时程突触可塑性，其中效率增强与减弱分别叫做短时程增强（short-term enhancement）与短时程抑制(short-term depressed)；而持续数百毫秒的增强又被称之为短时程易化( short-term facilitation)... 阅读全文
摘要：
LDA涉及到的先验知识有：二项分布、Gamma函数、Beta分布、多项分布、Dirichlet分布、马尔科夫链、MCMC、Gibbs Sampling、EM算法等。 二项分布 二项分布是N重伯努利分布，即为X ~ B(n, p). 概率密度公式为： 多项分布 多项分布，是二项分布扩展到多维的情况. 阅读全文
摘要：
在贝叶斯概率理论中，如果后验概率和先验概率满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。 Beta分布是二项式分布的共轭先验分布，而狄利克雷(Dirichlet)分布是多项式分布的共轭分布。 共轭的意思是，以Beta分布和二项式分布为例，数据符合 阅读全文
摘要：
决策树是一种基本的分类和回归方法。本章主要讨论用于分类的决策树，决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最 阅读全文
摘要：
1.什么是稀疏表示： 用较少的基本信号的线性组合来表达大部分或者全部的原始信号。 其中，这些基本信号被称作原子，是从过完备字典中选出来的；而过完备字典则是由个数超过信号维数的原子聚集而来的。可见，任一信号在不同的原子组下有不同的稀疏表示。 假设我们用一个M*N的矩阵表示数据集X，每一行代表一个样本， 阅读全文
摘要：
接下来一段时间开启脉冲神经网络模型的探索之旅。脉冲神经网络有更强的生物学基础，尽可能地模拟生物神经元之间的连接和通信方式。其潜在能力较强，值得踏进一步探索。 构建脉冲神经网络模型，至少需要考虑三点：1. 外界刺激编码2. 构建神经元模型3. 制定学习规则 外界刺激的编码方式主要有Rate Codin 阅读全文