关于梯度下降算法的的一些总结
摘要：目录: 1. 前言 2. 正文 2.1 梯度 2.2 梯度下降算法 2.2.1 批量梯度下降算法 2.2.2 随机梯度下降算法 3.参考文献 1.前言 这篇随笔,记录的是个人对于梯度算法的些许理解. 由于充斥着太多关于梯度算法的各种说明软文,所以呢? 本文是从一个实例出发,来逐步使用各种算法进行求解
阅读全文
posted @ 2016-09-21 15:21
09 2016 档案
机器学习优化算法之爬山算法小结
摘要：简言 机器学习的项目,不可避免的需要补充一些优化算法,对于优化算法,爬山算法还是比较重要的.鉴于此,花了些时间仔细阅读了些爬山算法的paper.基于这些,做一些总结. 目录 1. 爬山算法简单描述 2. 爬山算法的主要算法 2.1 首选爬山算法 2.2 最陡爬山算法 2.3 随机重新开始爬山算法 2
阅读全文
posted @ 2016-09-14 22:05
机器学习之最小二乘法
摘要：1.背景: 1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。
阅读全文
posted @ 2016-09-12 19:37
机器学习之KNN算法思想及其实现
摘要：从一个例子来直观感受KNN思想 如下图 , 绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。 从这个例子中,我们再来看KNN思想: 实现代码: KN
阅读全文
posted @ 2016-09-06 14:56
安装Python时遇到如下问题,解决方案
摘要：首先输入: 显示: 分析: 原因是,我们在将python2.7升级到python3.3时,只是将/usr/local/bin目录下修改了(使用ln -s 或者其他),然而我们的配置目录并没有修改.. 使用如下的方式可以有效的解决: 参考链接:http://askubuntu.com/question
阅读全文
posted @ 2016-09-05 11:22
机器学习之决策树熵&信息增量求解算法实现
摘要：此文不对理论做相关阐述,仅涉及代码实现: 1.熵计算公式: P为正例,Q为反例 Entropy(S) = -PLog2(P) - QLog2(Q); 2.信息增量计算: Gain(S,Sv) = Entropy(S) - (|Sv|/|S|)ΣEntropy(Sv); 举例: 转化数据输入: 1 p
阅读全文
posted @ 2016-09-02 20:44
朴素贝叶斯分类器(离散型)算法实现(一)
摘要：1. 贝叶斯定理: (1) P(A^B) = P(A|B)P(B) = P(B|A)P(A) 由(1)得 P(A|B) = P(B|A)*P(A)/[p(B)] 贝叶斯在最基本题型: 假定一个场景,在一所高中男女比例为4:6, 留长头发的有男学生有女学生, 我们设定女生都留长发 , 而男生中有10%
阅读全文
posted @ 2016-09-01 17:16
