上一页 1 ··· 43 44 45 46 47 48 49 50 51 ··· 54 下一页
摘要: 转载自https://www.cnblogs.com/pinard/p/9093890.html 在前面我们分别讨论了特征工程中的特征选择与特征表达,本文我们来讨论特征预处理的相关问题。主要包括特征的归一化和标准化,异常特征样本清洗与样本数据不平衡问题的处理。 1. 特征的标准化和归一化 由于标准化 阅读全文
posted @ 2019-05-17 02:35 Parallax 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 转载自https://www.cnblogs.com/pinard/p/9061549.html 在特征工程之特征选择中,我们讲到了特征选择的一些要点。本篇我们继续讨论特征工程,不过会重点关注于特征表达部分,即如果对某一个特征的具体表现形式做处理。主要包括缺失值处理,特殊的特征处理比如时间和地理位置 阅读全文
posted @ 2019-05-17 02:33 Parallax 阅读(117) 评论(0) 推荐(0) 编辑
摘要: 转载至https://www.cnblogs.com/pinard/p/9032759.html 特征工程是数据分析中最耗时间和精力的一部分工作,它不像算法和模型那样是确定的步骤,更多是工程上的经验和权衡。因此没有统一的方法。这里只是对一些常用的方法做一个总结。本文关注于特征选择部分。后面还有两篇会 阅读全文
posted @ 2019-05-17 02:30 Parallax 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 一: 提升方法概述 提升方法是一种常用的统计学习方法,其实就是将多个弱学习器提升(boost)为一个强学习器的算法。其工作机制是通过一个弱学习算法,从初始训练集中训练出一个弱学习器,再根据弱学习器的表现对训练样本分布进行调整,使得先前弱学习器做错的训练样本在后续受到更多的关注,然后基于调整后的样本分 阅读全文
posted @ 2019-05-16 15:10 Parallax 阅读(162) 评论(0) 推荐(0) 编辑
摘要: 首先,取对数不影响函数的单调性,保证输入对应的概率的最大最小值对应似然函数的最值。 其次,减少计算量,比如联合概率的连乘会变成加法问题,指数亦可。 最后,概率的连乘将会变成一个很小的值,可能会引起浮点数截断误差,尤其是当数据集很大的时候,联合概率会趋向于0,非常不利于之后的计算。依据ln曲线可知,很 阅读全文
posted @ 2019-05-16 02:06 Parallax 阅读(546) 评论(0) 推荐(0) 编辑
摘要: gbdt选择特征其实就是CART Tree的生成过程。gbdt的弱分类器默认选择的是CART TREE。其实也可以选择其他弱分类器的,选择的前提是低方差和高偏差。假设我们目前总共有 M 个特征。第一步我们需要从中选择出一个特征 j,做为二叉树的第一个节点。然后对特征 j 的值选择一个切分点 m. 一 阅读全文
posted @ 2019-05-15 22:26 Parallax 阅读(1478) 评论(0) 推荐(0) 编辑
摘要: (GBDT是通过梯度下降(作为残差 的近似)更新的决策树集成的boosting模型) 首先明确一点,gbdt 无论用于分类还是回归一直都是使用的CART 回归树。不会因为我们所选择的任务是分类任务就选用分类树,这里面的核心是因为gbdt 每轮的训练是在上一轮的训练的残差基础之上进行训练的。这里的残差 阅读全文
posted @ 2019-05-15 22:20 Parallax 阅读(558) 评论(0) 推荐(0) 编辑
摘要: 总结 首先,约束最优化(min f(x),st:c(x)0,h(x)=0)——原始问题,可以转化为等价的拉格朗日极小极大的无约束问题(min max(L(x,α,β)),α,β为拉格朗日乘子,st:0)——等效原始问题 若原问题棘手,在满足KKT(充要)条件下,可以通过拉格朗日对偶性将原问题的优化( 阅读全文
posted @ 2019-05-13 20:21 Parallax 阅读(975) 评论(0) 推荐(0) 编辑
摘要: 首先是通过K-means聚类得到anchor box的数目,这里聚类采用1—IOU(box,centriod)作为距离度量,然后在模型复杂度和召回率之间作了一个权衡,确定了K=5(标准是通过手肘法)。 YOLO -v2 损失函数:(yolo-v2开始其编码格式与V1不同。yoloV1 仅有两个box 阅读全文
posted @ 2019-05-11 05:24 Parallax 阅读(1270) 评论(0) 推荐(1) 编辑
摘要: L1损失函数:最小化绝对误差,因此L1损失对异常点有较好的适应更鲁棒,不可导,有多解,解的稳定性不好。 关于L1损失函数的不连续的问题,可以通过平滑L1损失函数代替: L2损失函数:最小化平方误差,因此L2损失对异常点敏感,L2损失函数会赋予异常点更大的损失值和梯度,调整网络参数向减小异常点误差的方 阅读全文
posted @ 2019-05-11 00:56 Parallax 阅读(972) 评论(0) 推荐(0) 编辑
上一页 1 ··· 43 44 45 46 47 48 49 50 51 ··· 54 下一页