随笔分类 - 论文笔记
摘要：t检验分为单总体检验和双总体检验 单总体t检验 检验一个样本平均数与一个已知的总体平均数的差异是否显著。当总体分布是正态分布，如总体标准差未知且样本容量小于30，那么样本平均数与总体平均数的离差统计量呈t分布。 单总体t检验统计量为： 其中 为样本平均数， 为样本标准偏差，n为样本数。该统计量t在零
阅读全文
摘要：用惯了theano.再用tensoflow发现一运行显存就满载了，吓得我吃了一个苹果。 用天朝搜索引擎毛都搜不到，于是FQ找了下问题的解决方法，原来有两种 按比例 按需求增长(theano那种)
阅读全文
摘要：目标： 怎么训练很深的神经网络 然而过深的神经网络会造成各种问题，梯度消失之类的，导致很难训练 作者利用了类似LSTM的方法，通过增加gate来控制transform前和transform后的数据的比例，称为Highway network 至于为什么会有效...大概和LSTM会有效的原因一样吧。 方
阅读全文
摘要：Progressive NN Progressive NN是第一篇我看到的deepmind做这个问题的。思路就是说我不能忘记第一个任务的网络，同时又能使用第一个任务的网络来做第二个任务。 为了不忘记之前的任务，他们的方法简单暴力：对所有的之前任务的网络，保留并且fix，每次有一个新任务就新建一个网络
阅读全文
摘要：什么是Convolutional Neural Network（卷积神经网络）？ 最早应该是LeCun(1998)年论文提出，其结果如下：运用于手写数字识别。详细就不介绍，可参考zouxy09的专栏，主要关注convolution、pooling，个人理解是这样的，convolution是做特征检测
阅读全文
摘要：1. 前言 多任务学习（Multi-task learning）是和单任务学习（single-task learning）相对的一种机器学习方法。在机器学习领域，标准的算法理论是一次学习一个任务，也就是系统的输出为实数的情况。复杂的学习问题先被分解成理论上独立的子问题，然后分别对每个子问题进行学习，
阅读全文
摘要：在CNN模型中，卷积就是拿**kernel**在图像上到处移动，每移动一次提取一次特征，组成feature map， 这个提取特征的过程，就是卷积。 接下来，我们看看Yoon Kim的paper：[Convolutional Neural Networks for Sentence Classifi
阅读全文
摘要：dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。 dropout是CNN中防止过拟合提高效果的一个大杀器。 Dropout如何工作 Dropout以
阅读全文
摘要：End to end：指的是输入原始数据，输出的是最后结果，应用在特征学习融入算法，无需单独处理。 end-to-end（端对端）的方法，一端输入我的原始数据，一端输出我想得到的结果。只关心输入和输出，中间的步骤全部都不管。 端到端指的是输入是原始数据，输出是最后的结果，原来输入端不是直接的原始数据
阅读全文
摘要：Social Role-Aware Emotion Contagion in Image Social Networks 社会角色意识情绪在形象社交网络中的传染 1、摘要： 心理学理论认为，情绪代表了一个人的认知系统(1927年)的精神状态和本能反应。 情绪是一种复杂的情绪状态，它会导致影响我们行为
阅读全文
摘要：BP算法细节 参数说明：假设有n层。J表示代价函数，和上面的E是同样的意思，只不过用不同的字母写而已。 分析：要想知道第l层的第i个结点的残差，必须知道该节点所连接的下一层的各个结点的权值，以及这些结点的残差，幸亏第l+1层已经计算出来了残差，你只要把后面一层的每个结点j的残差乘以该结点与这一层的结
阅读全文
摘要：BPN(Back Propagation Net) 反向传播神经网络是对非线性可微分函数进行权值训练的多层网络，是前向神经网络的一种。 BP网络主要用于： 1)函数逼近与预测分析：用输入矢量和相应的输出矢量训练一个网络，逼近一个函数或预测未知信息； 2)模式识别：用一个特定的输出矢量将它与输入矢量联
阅读全文
摘要：已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)。这里先解释什么是条件概率： 表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为：。 贝叶斯定理之所以有用，是因为我们在生活中经常遇到这种情况：我们可以很容
阅读全文
摘要：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该类输入实例分为这个类。 KNN是通过测量不同特征值之间的距离进行分类。它的的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属
阅读全文
摘要：二分类问题Sigmod 在 logistic 回归中，我们的训练集由 个已标记的样本构成： ，其中输入特征。（我们对符号的约定如下：特征向量 的维度为 ，其中 对应截距项 。） 由于 logistic 回归是针对二分类问题的，因此类标记 。假设函数(hypothesis function) 如下：
阅读全文
摘要：1. LDA是什么 线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。 基本思想是将高
阅读全文
摘要：模型已定，参数未知 已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。 假
阅读全文
摘要：n阶方阵A可逆 充分必要条件：<=> A非奇异（非奇异矩阵就是对应的行列式不等于等于0的方阵）<=> |A|≠0 <=> r(A) = n <=> A的特征值都不为0 <=> 齐次线性方程组AX=0 仅有零解 <=> 非 齐次线性方程组AX=b 有唯一解 <=> A可表示成初等矩阵的乘积<=> A等
阅读全文
摘要：K-Means算法是一种cluster analysis的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。 问题 K-Means算法主要解决的问题如下图所示。我们可以看到，在图的左边有一些点，我们用肉眼可以看出来有四个点群，但是我们怎么通过计算机程序找出这几个点群来呢？于
阅读全文
摘要：机器学习的算法中，讨论的最多的是某种特定的算法，比如Decision Tree，KNN等，在实际工作以及kaggle竞赛中，Ensemble methods（组合方法）的效果往往是最好的，当然需要消耗的训练时间也会拉长。 所谓Ensemble methods，就是把几种机器学习的算法组合到一起，或者
阅读全文