摘要：
一、多层感知机MLP1、MLP概述对于含有单个隐含层的多层感知机(single-hidden-layer Multi-Layer Perceptron, MLP)，可以将其看成是一个特殊的Logistic回归分类器，这个特殊的Logistic回归分类器首先通过一个非线性变换Φ(non-linear ... 阅读全文
摘要：
Scan是干什么的函数scan是Theano中迭代的一般形式，所以可以用于类似循环(looping)的场景。 如果你熟悉Reduction和map两个函数，这两个都是scan的特殊形式，即将某函数依次作用一个序列的每个元素上。 函数scan的输入也是一些序列（一维数组，或者多维数组，以第一维为lea... 阅读全文
摘要：
有了前面的准备，可以用Theano实现一个逻辑回归程序，逻辑回归是典型的有监督学习。为了形象，这里我们假设分类任务是区分人与狗的照片。首先是生成随机数对象[python]view plaincopyimportnumpyimporttheanoimporttheano.tensorasTrng=nu... 阅读全文
摘要：
theano 模块 MLP示例，有需要的朋友可以参考下。theano教程Example: MLP：约定数组为列向量，层级：将多层传感器定义为一连串的层级，每个层级定义为一个类。类属性包括：权重、偏差矢量、以及计算这一层输出的函数。如果不使用Theano，我们可能希望输出函数会接收一个向量并返回图层的... 阅读全文
摘要：
EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是... 阅读全文