调参、最优化、ml算法(未完成)
最优化方法 | 调参方法 | ml算法 |
梯度下降gd | grid search | lr |
梯度上升 | 随机梯度下降 | pca |
随机梯度下降sgd | 贝叶斯调参 | lda |
牛顿算法 | knn | |
拟牛顿算法 | kmeans | |
遗传算法 | tree | |
蚁群算法 | gbdt | |
模拟退火 | xgboost | |
反向传播算法 | lightgbm | |
坐标上升? | svm | |
rf |
一、调参的思路:
如针对上面的问题,对x1和x2两个参数调优,假设起始点为绿色点,
1.grid search(全部交叉):计算所有上面的交叉点的模型。
2.一种沿着坐标轴的方法:首先,固定先沿着x2的方向计算,找到此轮中最优的参数x2。
第二步,固定x2,调整x1,找到最优的x1。
第三步,重复1/2步骤,直到两次迭代模型表现差距不大,停止。
3.梯度下降的思路:先计算起始点(绿点)周围的模型表现,找出表现最好的点,朝那个方向前进,直到找到最好的模型表现点。
posted on 2019-11-08 10:20 静静的白桦林_andy 阅读(265) 评论(0) 编辑 收藏 举报