摘要：
最大似然法,英文名称是Maximum Likelihood Method，在统计中应用很广。这个方法的思想最早由高斯提出来，后来由菲舍加以推广并命名。最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最 大。通... 阅读全文
摘要：
“回归”的由来FrancisGalton，英国生物学家，他研究了父母身高与子女身高之间关系后得出，若父母身高高于平均大众身高，则其子女身高倾向于倒退生长，即会比其父母身高矮一些而更接近于大众平均身高。若父母身高小于平均身高，则其子女身高倾向于向上生长，以更接近于大众平均身高。此现象，被Galton称... 阅读全文
摘要：
一、标准化（Z-Score），或者去除均值和方差缩放公式为：(X-mean)/std 计算时对每个属性/每列分别进行。将数据按期属性（按列进行）减去其均值，并处以其方差。得到的结果是，对于每个属性/每列来说所有数据都聚集在0附近，方差为1。实现时，有两种不同的方式：使用sklearn.preproc... 阅读全文
摘要：
在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在... 阅读全文
摘要：
前言： 找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个，如果你的研究方向是机器学习/数据挖掘之类，且又对其非常感兴趣的话，可以考虑考虑该岗位，毕竟在机器智能没达到人类水平之前，机器学习可以作为一种重要手段，而随着科技的不断发展，相... 阅读全文
摘要：
好久没有写 blog 了，一来是 blog 下线一段时间，而租 DreamHost 的事情又一直没弄好；二来是没有太多时间，天天都跑去实验室。现在主要折腾 Machine Learning 相关的东西，因为很多东西都不懂，所以平时也找一些资料来看。按照我以前的更新速度的话，这么长时间不写 blog ... 阅读全文
摘要：
本文是“支持向量机系列”的第一篇，参见本系列的其他文章。支持向量机即Support Vector Machine，简称 SVM 。我最开始听说这头机器的名号的时候，一种神秘感就油然而生，似乎把 Support 这么一个具体的动作和 Vector 这么一个抽象的概念拼到一起，然后再做成一个 Machi... 阅读全文
摘要：
涉及问题：1.每个图如何卷积：（1）一个图如何变成几个？（2）卷积核如何选择？2.节点之间如何连接？3.S2-C3如何进行分配？4.16-120全连接如何连接？5.最后output输出什么形式？①各个层解释： 我们先要明确一点：每个层有多个Feature Map，每个Feature Map通过一种卷... 阅读全文
摘要：
人脸验证算法Joint Bayesian详解及实现（Python版）Tags： JointBayesian DeepLearning Python本博客仅为作者记录笔记之用，不免有很多细节不对之处。还望各位看官能够见谅，欢迎批评指正。博客虽水，然亦博主之苦劳也。如对代码有兴趣的请移步我的Github... 阅读全文
摘要：
本文介绍多层感知机算法，特别是详细解读其代码实现，基于python theano，代码来自：Multilayer Perceptron，如果你想详细了解多层感知机算法，可以参考：UFLDL教程，或者参考本文第一部分的算法简介。经详细注释的代码：放在我的github地址上，可下载。一、多层感知机（ML... 阅读全文
摘要：
Stochastic Gradient Descent (SGD)SGD的参数在使用随机梯度下降（SGD）的学习方法时，一般来说有以下几个可供调节的参数:Learning Rate 学习率Weight Decay 权值衰减Momentum 动量Learning Rate Decay 学习率衰减再此之... 阅读全文
摘要：
理解dropout注意：图片都在github上放着，如果刷不开的话，可以考虑FQ。转载请注明：http://blog.csdn.net/stdcoutzyx/article/details/49022443开篇明义，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂... 阅读全文
摘要：
首先PO上主要Python代码(2.7), 这个代码在Deep Learning上可以找到. 1 # allocate symbolic variables for the data 2 index = T.lscalar() # index to a [mini]batch 3 ... 阅读全文
摘要：
一、多层感知机MLP1、MLP概述对于含有单个隐含层的多层感知机(single-hidden-layer Multi-Layer Perceptron, MLP)，可以将其看成是一个特殊的Logistic回归分类器，这个特殊的Logistic回归分类器首先通过一个非线性变换Φ(non-linear ... 阅读全文
摘要：
Scan是干什么的函数scan是Theano中迭代的一般形式，所以可以用于类似循环(looping)的场景。 如果你熟悉Reduction和map两个函数，这两个都是scan的特殊形式，即将某函数依次作用一个序列的每个元素上。 函数scan的输入也是一些序列（一维数组，或者多维数组，以第一维为lea... 阅读全文
摘要：
有了前面的准备，可以用Theano实现一个逻辑回归程序，逻辑回归是典型的有监督学习。为了形象，这里我们假设分类任务是区分人与狗的照片。首先是生成随机数对象[python]view plaincopyimportnumpyimporttheanoimporttheano.tensorasTrng=nu... 阅读全文
摘要：
theano 模块 MLP示例，有需要的朋友可以参考下。theano教程Example: MLP：约定数组为列向量，层级：将多层传感器定义为一连串的层级，每个层级定义为一个类。类属性包括：权重、偏差矢量、以及计算这一层输出的函数。如果不使用Theano，我们可能希望输出函数会接收一个向量并返回图层的... 阅读全文
摘要：
EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是... 阅读全文