09 2016 档案

摘要：摘要 本节将对反向传播进行直观的理解。反向传播是利用链式法则递归计算表达式的梯度的方法。理解反向传播过程及其精妙之处，对于理解、实现、设计和调试神经网络非常关键。反向求导的核心问题是：给定函数 $f(x)$ ，其中 $x$ 是输入数据的向量，需要计算函数 $f$ 关于 $x$ 的梯度，也就是 $\nabla f(x)$ 。 之所以关注上述问题，是因为在神经网络中 $f$ 对应的是损失函数 $L$... 阅读全文

摘要：回顾上一节中，介绍了图像分类任务中的两个要点： 现在介绍第三个要点，也是最后一个关键部分：最优化Optimization。最优化是寻找能使得损失函数值最小化的参数 W 的过程，一旦理解了这三个部分是如何相互运作的，我们将会回到第一个要点，然后将其拓展为一个远比线性函数复杂的函数：首先是神经网络，然后 阅读全文

摘要：Liner classifier 线性分类器用作图像分类主要有两部分组成：一个是假设函数, 它是原始图像数据到类别的映射。另一个是损失函数，该方法可转化为一个最优化问题，在最优化过程中，将通过更新假设函数的参数值来最小化损失函数值。 从图像到标签分值的参数化映射：该方法的第一部分就是定义一个评分函数 阅读全文

摘要：今天开始，复习一下 LDA ，记录一些 LDA 的关键步骤，为写好论文做铺垫。第一节的主题是共轭分布，回忆贝叶斯公式： \[p(\theta|X) = \frac{p(\theta) \cdot p(X|\theta) }{p(X)} \Leftrightarrow \mathbf{ posterior = \frac{prior \cdot likelihood}{evidence}}\] 简... 阅读全文

摘要：朴素贝叶斯(NB) , 最大熵(MaxEnt) (逻辑回归, LR), 因马尔科夫模型(HMM), 最大熵马尔科夫模型(MEMM), 条件随机场(CRF) 这几个模型之间有千丝万缕的联系，本文首先会证明 Logistic 与 MaxEnt 的等价性，接下来将从图模型的角度阐述几个模型之间的关系，首先用一张图总结一下几个模型的关系： Logistic（Softmax） MaxEnt 等价性... 阅读全文