摘要：
参考文献： [1]李航.统计学习方法 阅读全文
摘要：
本文后面很多内容都是参考博客：http://www.cnblogs.com/xbinworld/p/4266146.html。本文主要用作学习交流备忘用。 1）简述： 随机模拟也可以叫做蒙特卡洛模拟，其中一个很重要的问题就是指定一个概率分布p(x)，然后在计算机中生成它的样本。 2）MC核心思想： 阅读全文
摘要：
阅读全文
摘要：
1. 论数据立方体预计算的多种策略的优弊 （1）计算完全立方体：需要耗费大量的存储空间和不切实际的计算时间。 （2）计算冰山立方体：优于计算完全立方体，但在某种情况下，依然需要大量的存储空间和计算时间。 因为冰山立方体的确定在于最小支持度的确定，所以例如：如果基本立方体单元(a1,.....a60) 阅读全文
摘要：
极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。即在频率学派中，参数固定了，预测 值也就固定了。最大后验概率是贝叶斯学派在完全贝叶斯不一定可行后采用的一种近似手。如果数据量足够大，最大后验概率和最大似 然估计趋向于一致，如果数据为0,最大后验仅由先验决定。 极大似 阅读全文
摘要：
过拟合的三种解决方法： 1． 增加数据集 2． L1，L2正则化。 a) L1正则化是使权值矩阵变成稀疏的。减少网络复杂度。 b) L2正则化是使不断较少权值的大小，从而减少网络复杂度。（权值衰减） 3. Dropout 训练时候每次迭代前都随机删除一半的隐含层节点，相当于每次训练都只训练了一半的网 阅读全文
摘要：
DNN,CNN,RNN:1.DNN:深度神经网络，或称多层感知机。解决早期单层感知机对于复杂函数不能模拟的情况。其形式为层之间全连接。实用sig等连续性函数模拟神经对机理的响应，训练算法使用 BP。 2.问题：只是名义上的深层。 a：随着层数的加深，优化函数更加容易陷入局部最优解。并且会越来越偏离 阅读全文
摘要：
定义：相对于同方差而言。同方差：总体回归函数中的随机误差项满足同方差性，即它们都有相同的方差。如果这一假定不满足，即：随机误差项具有不同的方差，则称线性回归模型存在异方差性。 产生原因在于： a.模型中缺少某些解释变量，从而系统扰动项干扰系统。 b.测量误差。一般在时间序列变量。和以平均数作为样本数 阅读全文
摘要：
人工免疫相关优化算法 生物学机理：定义任何属于人体自身的组织称为自体，任何入侵的东西称为异体。产生的抗体与自身细胞结合，则取消该抗体；留下的正式抗体，如果某异体与之产生结合并达到一定的阈值，则该异体检测为抗原，予以清除。 算法思想：淘汰与抗原结合能力差的抗体，对优质抗体变异，增加抗体的多样性。 算法 阅读全文
摘要：
Svm相关： 1） SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题． 2） 逻辑回归和SVM的区别在于逻辑回归采用的是logistical loss，svm采用的是hin 阅读全文