随笔分类 - 机器学习
摘要：二分类下，sigmoid、softmax两者的数学公式是等价的，理论上应该是一样的，但实际使用的时候还是sigmoid好 https://www.zhihu.com/question/295247085 为什么好？其实现在我得到一个确切的答案！ 多个sigmoid与一个softmax都可以进行多分类
阅读全文
摘要：欧式距离： l2范数： l2正则化： l2-loss(也叫平方损失函数)： http://openaccess.thecvf.com/content_cvpr_2017/papers/Li_Mimicking_Very_Efficient_CVPR_2017_paper.pdf 总结：l2范数和欧式
阅读全文
摘要：我们知道，在做数学题的时候，解未知数的方法，是给定自变量和函数，通过函数处理自变量，以获得解。而机器学习就相当于，给定自变量和函数的解，求函数。类似于：这样：function（x）=y 机器学习就是样本中有大量的x（特征量）和y（目标变量）然后求这个function。 求函数的方法，基于理论上来说，
阅读全文
摘要：总结：逻辑回归是在线性回归的基础上套用了一个逻辑函数。线性回归是进行回归预测，逻辑回归是用来分类，即离散。线性回归是在整个实数空间进行回归，逻辑回归把整个回归限定在实数范围0，1的回归，以某一阈值作为分类判别 逻辑回归中逻辑函数： 线性回归的模型是求出输出特征向量Y和输入样本矩阵X之间的线性关系系数
阅读全文
摘要：https://blog.csdn.net/github_38414650/article/details/76061893 https://www.cnblogs.com/xlingbai/p/8274250.html https://blog.csdn.net/a1b2c3d4123456/ar
阅读全文
摘要：batch normalization是对每个batch的数据在每一层进行z-score标准化，z-score标准化相当于让数据符合标准正态分布 归一化： 1、把数变为（0，1）之间的小数主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。2、把有量纲表达式变为无量纲表达式
阅读全文
摘要：正态分布(Normal distribution)，又名高斯分布(Gaussian distribution)。若随机变量X服从一个数学期望为μ、方差为σ^2(标准差为σ)的正态分布，记为N(μ，σ^2)。其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。 当μ = 0,σ
阅读全文
摘要：交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量真实分布p与当前训练得到的概率分布q有多么大的差异。 相对熵（relative entropy）就是KL散度（Kullback–Leibler divergence），用于衡量
阅读全文
摘要：1.sigmoid,softmax都是logistic regression，只是一个是二分类，一个是多分类的，都可以做激活函数。 2.softmax-loss是softmax+cross-entropy，softmax-loss中的softmax是作为训练后的模型的预测标记分布输入到cross-e
阅读全文
摘要：softmax和sigmoid实际上都是属于logistic regression，sigmoid是二分类的lr，拟合Bernoulli distribution(二项分布)；0softmax是多分类的lr，拟合Multinomial distribution(多项分布)。 sigmoid函数可以很
阅读全文
摘要：http://blog.csdn.net/sunmenggmail/article/details/13998255
阅读全文
摘要：知乎上关于似然的一个问题：https://www.zhihu.com/question/54082000 概率(密度)表达给定下样本随机向量的可能性，而似然表达了给定样本下参数(相对于另外的参数)为真实值的可能性。 http://www.cnblogs.com/zhsuiy/p/4822020.ht
阅读全文
摘要：http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/ softmax 在 Logistic Regression 里起到的作用是将线性预测值转化为类别概率 1.最大似然估计通
阅读全文
摘要：维基上corss entropy的一部分 知乎上也有一个类似问题：https://www.zhihu.com/question/36307214 cross entropy有二分类和多分类的形式，分别对应sigmoid和softmax The logistic loss is sometimes c
阅读全文
摘要：http://www.cnblogs.com/rocketfan/p/4083821.html lr的损失函数是 cross entropy loss， adaboost的损失函数是 expotional loss ,svm是hinge loss，常见的回归模型通常用均方误差loss。 在神经网络中
阅读全文
摘要：http://blog.csdn.net/luo123n/article/details/48878759 https://en.wikipedia.org/wiki/Hinge_loss Note that y should be the "raw" output of the classifie
阅读全文
摘要：在线性代数，函数分析等数学分支中，范数（Norm）是一个函数，是赋予某个向量空间（或矩阵）中的每个向量以长度或大小的函数。对于零向量，令其长度为零。直观的说，向量或矩阵的范数越大，则我们可以说这个向量或矩阵也就越大。有时范数有很多更为常见的叫法，如绝对值其实便是一维向量空间中实数或复数的范数，而Eu
阅读全文
