红猪飞天侠

摘要： 计划：2015-03-08-2015-04-08原则：用新习惯带来的乐趣代替老的习惯 晚睡晚起的快乐：晚上玩游戏带来的快乐 早睡早起的快乐：改变晚上的娱乐方式，使娱乐容易停下来，1.看小说 2.看动画 3.看综艺节目 早起做早锻炼，看新升起的太阳；做早饭；听音乐 阅读全文

摘要： 计划：2014-12-22起至2015-01-22止，早起30天实现：2014-12-22起至2015-01-04早起，2015-01-05失败原因：1.2015-01-04晚，玩游戏到晚上2点，没有坚持11点钟睡觉 2.临时出差打乱了生活规律玩游戏的主要原因： 1.太多时间用于学习（学... 阅读全文

摘要： main idea:用adaboost类似的方法，选出g，然后选出步长 Gredient Boosting for regression： h控制方向，eta控制步长，需要对h的大小进行限制 对(x,残差)解regression，得到h 对(g(x),残差)解regression，得到eta 阅读全文

摘要： 以二分类问题为例(｛-1，+1｝) adaboost步骤： 1.初始化u1=(1/N,1/N,…,1/N) 2.找到h，使最小化，记该h为g；计算作为该g的权重 3.更新ui: 4.重复2，3得到T个h，使用下列公式作为预测 理解： 1. adaboost 和 ut 数据n的权重在经过T轮更新后，正比于 每个g在该资料上做的带权重的投票 将看成是margin，则marg... 阅读全文

摘要： main idea：用与$u_t$成正比的概率sampling生成的数据集$\widetilde{D}$训练DTree；用整个数据集$D$计算weighted$\epsilon_n$，计算$g_t$的权重$\alpha_t =ln\blacklozenge t$，其中$\blacklozenge ... 阅读全文

摘要： main idea：计算每一个feature的重要性，选取重要性前k的feature；衡量一个feature重要的方式：如果一个feature重要，则在这个feature上加上noise，会对最后performance影响很大。1.feature selection的含义及优缺点 去除冗余的特征（... 阅读全文

摘要： main idea: 在使用bootstrap生成gi的训练集时，会有一部分数据没有被选中，使用这一部分数据（OOB）进行validation。 1.数据没有被选中的概率 假设训练集大小为N，使用bootstrap生成N’（假设N’=N）条数据用于gi的训练（有放回抽样），则某条特定数据没有被选中的概率为： 当N很大（趋于无穷）时，大约有1/3的数据没有被选中... 阅读全文