blcblc - 博客园

2022年2月22日

摘要：看这篇文章： https://zhuanlan.zhihu.com/p/213774840 《机器学习面试150题：不只是考SVM xgboost 特征工程（1-50）》 https://zhuanlan.zhihu.com/p/217494137 《机器学习面试150题：不只是考SVM xgboo 阅读全文

posted @ 2022-02-22 22:32 blcblc 阅读(35) 评论(0) 推荐(0) 编辑

反向传播过程中不可导情况处理

摘要：参考这篇文章： https://blog.csdn.net/weixin_42720875/article/details/105936398 《神经网络反向求导不可导情况处理》写的蛮好，主要写了Relu函数、平均池化、最大池化的处理方式。 Relu函数次梯度方法(subgradient met 阅读全文

posted @ 2022-02-22 20:17 blcblc 阅读(451) 评论(0) 推荐(0) 编辑

BP过程的推导及链式法则中标量向量计算的过程

摘要：可以参考这篇文章： https://zhuanlan.zhihu.com/p/36711903 《BP 神经网络 —— 逆向传播的艺术》里面有一些重要的知识点：神经网络的前馈 (forward propagation) 过程，前馈过程也非常容易理解，符合人正常的逻辑，具体的矩阵计算表达如下：阅读全文

posted @ 2022-02-22 15:56 blcblc 阅读(129) 评论(0) 推荐(0) 编辑

2022年2月21日

机器学习项目工作的标准流程，可以参考

摘要：标准流程：理解问题：理解问题的核心，相关领域的问题、经验、限制、惯例、内外影响等等。 Collect input features Preprocess：Fillna(fill 0,mean,or by model(eg rf)), Outlier Feature engineering： Nor 阅读全文

posted @ 2022-02-21 22:27 blcblc 阅读(39) 评论(0) 推荐(0) 编辑

MLE极大似然估计与MAP最大后验概率估计的介绍

摘要：这篇文章还讲得比较清楚： https://blog.csdn.net/u011508640/article/details/72815981 《详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解》 MLE：Maximum Likelihood Estimation，极大似然阅读全文

posted @ 2022-02-21 21:59 blcblc 阅读(168) 评论(0) 推荐(0) 编辑

频率学派（古典学派）和贝叶斯学派

摘要：这篇文章讲得还比较清楚： https://blog.csdn.net/huguozhiengr/article/details/81777577 《统计学中的频率学派与贝叶斯学派》频率学派认为，对于一批样本，其分布是确定的，也即是是确定的，只不过未知。贝叶斯学派引入了主观概率的概念，认为一个事件阅读全文

posted @ 2022-02-21 21:50 blcblc 阅读(429) 评论(0) 推荐(0) 编辑

关于梯度下降原理的解释

摘要：这一篇文章讲得很好： https://zhuanlan.zhihu.com/p/36564434 《梯度下降法 —— 经典的优化方法》核心是这张图：所以负梯度方向，不是随便得来的，是根据泰勒公式推导得来的。阅读全文

posted @ 2022-02-21 20:58 blcblc 阅读(44) 评论(0) 推荐(0) 编辑

关于Adam和SGD等优化方法的讨论

摘要：第一篇是这个： https://zhuanlan.zhihu.com/p/32230623 在上面一篇文章已经讲了： https://www.cnblogs.com/charlesblc/p/15908598.html 接下来是这篇文章： https://zhuanlan.zhihu.com/p/3 阅读全文

posted @ 2022-02-21 20:30 blcblc 阅读(925) 评论(0) 推荐(0) 编辑

2022年2月18日

优化算法的一些摘要

摘要：参考这篇文章： https://zhuanlan.zhihu.com/p/32230623 深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程。我们换一个思路，用一个框架来梳理所有的优化算法，做阅读全文

posted @ 2022-02-18 14:43 blcblc 阅读(60) 评论(0) 推荐(0) 编辑

2022年2月17日

各种Normalization与ICS

摘要：参考这篇文章： https://zhuanlan.zhihu.com/p/33173246 https://www.sohu.com/a/220228574_717210（这篇是上面的转载）其中ICS问题参考这里： https://blog.csdn.net/sinat_33741547/arti 阅读全文

posted @ 2022-02-17 17:37 blcblc 阅读(96) 评论(0) 推荐(0) 编辑

笨鸟居士的博客

公告