ooon - 博客园

2017年2月

摘要： anaconda3 python3.5 tensorflow 在 windows下的安装 1、安装Anaconda 清华的镜像：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 选择相应的版本，使用64位版本。需要注意的是，目前Window 阅读全文

posted @ 2017-02-28 10:51 ooon 阅读(1666) 评论(0) 推荐(1) 编辑

word2vec:基本的安装及使用简介

摘要：官方word2vec的github下载地址：https://github.com/svn2github/word2vec 环境，linux-ubuntu-14.04LST，安装好git， gcc版本4.8.4 linux下的安装方式： % git clone https://github.com/s 阅读全文

posted @ 2017-02-18 13:55 ooon 阅读(4073) 评论(0) 推荐(0) 编辑

2016年9月

cs231n（三）误差反向传播

摘要：摘要本节将对反向传播进行直观的理解。反向传播是利用链式法则递归计算表达式的梯度的方法。理解反向传播过程及其精妙之处，对于理解、实现、设计和调试神经网络非常关键。反向求导的核心问题是：给定函数 $f(x)$ ，其中 $x$ 是输入数据的向量，需要计算函数 $f$ 关于 $x$ 的梯度，也就是 $\nabla f(x)$ 。之所以关注上述问题，是因为在神经网络中 $f$ 对应的是损失函数 $L$... 阅读全文

posted @ 2016-09-15 14:26 ooon 阅读(2743) 评论(2) 推荐(0) 编辑

cs231n笔记（二）最优化方法

摘要：回顾上一节中，介绍了图像分类任务中的两个要点：现在介绍第三个要点，也是最后一个关键部分：最优化Optimization。最优化是寻找能使得损失函数值最小化的参数 W 的过程，一旦理解了这三个部分是如何相互运作的，我们将会回到第一个要点，然后将其拓展为一个远比线性函数复杂的函数：首先是神经网络，然后阅读全文

posted @ 2016-09-14 20:38 ooon 阅读(1821) 评论(0) 推荐(0) 编辑

cs231n笔记（一）线性分类器

摘要： Liner classifier 线性分类器用作图像分类主要有两部分组成：一个是假设函数, 它是原始图像数据到类别的映射。另一个是损失函数，该方法可转化为一个最优化问题，在最优化过程中，将通过更新假设函数的参数值来最小化损失函数值。从图像到标签分值的参数化映射：该方法的第一部分就是定义一个评分函数阅读全文

posted @ 2016-09-13 19:12 ooon 阅读(9913) 评论(0) 推荐(1) 编辑

LDA总结 (一) 共轭分布

摘要：今天开始，复习一下 LDA ，记录一些 LDA 的关键步骤，为写好论文做铺垫。第一节的主题是共轭分布，回忆贝叶斯公式： \[p(\theta|X) = \frac{p(\theta) \cdot p(X|\theta) }{p(X)} \Leftrightarrow \mathbf{ posterior = \frac{prior \cdot likelihood}{evidence}}\] 简... 阅读全文

posted @ 2016-09-06 15:26 ooon 阅读(4509) 评论(0) 推荐(0) 编辑

Logistic 最大熵朴素贝叶斯 HMM MEMM CRF 几个模型的总结

摘要：朴素贝叶斯(NB) , 最大熵(MaxEnt) (逻辑回归, LR), 因马尔科夫模型(HMM), 最大熵马尔科夫模型(MEMM), 条件随机场(CRF) 这几个模型之间有千丝万缕的联系，本文首先会证明 Logistic 与 MaxEnt 的等价性，接下来将从图模型的角度阐述几个模型之间的关系，首先用一张图总结一下几个模型的关系： Logistic（Softmax） MaxEnt 等价性... 阅读全文

posted @ 2016-09-01 12:22 ooon 阅读(7174) 评论(1) 推荐(1) 编辑

2016年8月

条件随机场入门（五）条件随机场的预测算法

摘要： CRF 的预测问题是给定模型参数和输入序列（观测序列）x，求条件概率最大的输出序列（标记序列）$y^*$，即对观测序列进行标注。条件随机场的预测算法同 HMM 还是维特比算法，根据 CRF模型可得： \begin{aligned}y^* &= \arg \max_yP_w(y|x) \\&= \a 阅读全文

posted @ 2016-08-31 18:18 ooon 阅读(5194) 评论(1) 推荐(0) 编辑

条件随机场入门（四）条件随机场的训练

摘要：本节讨论给定训练数据集估计条件随机场模型参数的问题，即条件随机场的学习问题。条件随机场模型实际上是定义在时序数据上的对数线形模型，其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及 L-BFGS 算法。（crf++ 采用了 L-BFGS 优化的方式，所以着重看这种训练方法即可） L-BFGS算法对于条件随机场模型： \[P_w(y|x) ... 阅读全文

posted @ 2016-08-31 17:08 ooon 阅读(8060) 评论(0) 推荐(0) 编辑

条件随机场入门（三）条件随机场的概率计算问题

摘要：条件随机场的概率计算问题是给定条件随机场 P(Y|X) ，输入序列 x 和输出序列 y ,计算条件概率 $P(Y_{i-1} = y_{i-1}Y_i = y_i|x)$ ，$P(Y_i = y_i|x)$ 以及相应的数学期望的问题。为了方便起见，像 HMM 那样，引进前向-后向向量，递归地计算以上阅读全文

posted @ 2016-08-30 20:07 ooon 阅读(4852) 评论(0) 推荐(0) 编辑

公告