特征工程

L1正则化和L2正则化的区别:L1起截断作用,L2起缩放作用(不让参数θ过大)

L1稀疏,L2平滑作用

 

L1的稀疏化性质去掉无关特征,只留下相关特征

L2如果特征有些是共线性的,L1会扔掉这些特征,导致模型误差较大

数据和特征处理

数据清洗

正负样本不平衡的处理方法:上采样,下采样,修改损失函数

数值型特征:幅度调整,归一化,离散化

类别型特征:one-hot 编码

组合特征

 

 

特征选择

原因:冗余,噪声

特征选择VS降维  :前者是踢掉特征里面和预测结果关系不大的特征,后者是做特征的计算组合构成新的特征

特征选择的3种方法:

过滤型

 

 包裹型

 

嵌入型:加入L1正则化,有2-3千万是有权值的,其没有权值

 

 

 

posted @   simple_wxl  阅读(238)  评论(0编辑  收藏  举报
编辑推荐:
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
阅读排行:
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· 新年开篇:在本地部署DeepSeek大模型实现联网增强的AI应用
· 程序员常用高效实用工具推荐,办公效率提升利器!
· Janus Pro:DeepSeek 开源革新,多模态 AI 的未来
· 【译】WinForms:分析一下(我用 Visual Basic 写的)
点击右上角即可分享
微信分享提示