摘要：
原理：将原始数据集划分为k个子集，将其中一个子集作为验证集，其余k-1个子集作为训练集，如此训练和验证一轮称为一次交叉验证。交叉验证重复k次，每个子集都做一次验证集，得到k个模型，加权平均k个模型的结果作为评估整体模型的依据。 注意点：k越大，不一定效果越好，而且越大的k会加大训练时间；在选择k时， 阅读全文
摘要：
二者都是集成学习算法，都是将多个弱学习器组合成强学习器的方法。 1、Bagging （主要关注降低方差） Bagging即套袋法，其算法过程如下： A）从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能 阅读全文
摘要：
（1）Gaussian 满足mean=0，std=1的高斯分布x∼N(mean，std2) （2）Xavier 满足x∼U(−a,+a)x∼U(−a,+a)的均匀分布， 其中 a = sqrt(3/n) （3）MSRA 满足x∼N(0,σ2)x∼N(0,σ2)的高斯分布，其中σ = sqrt(2/n 阅读全文