h_z_cong - 博客园

《机器学习实战》学习笔记第八章 —— 线性回归、L1、L2范数正则项

摘要：相关笔记：吴恩达机器学习笔记（一） —— 线性回归吴恩达机器学习笔记（三） —— Regularization正则化（问题遗留：小可只知道引入正则项能降低参数的取值，但为什么能保证 Σθ2 <=λ ？）主要内容：一.线性回归之普通最小二乘法二.局部加权线性回归三.岭回归（L2正则阅读全文

posted @ 2018-08-16 20:20 h_z_cong 阅读(674) 评论(0) 推荐(0)

《机器学习实战》学习笔记第十三章 —— 利用PCA来简化数据

摘要：相关博文：吴恩达机器学习笔记（八） —— 降维与主成分分析法(PCA) 主成分分析（PCA）的推导与解释（特征值、特征向量与PCA的关系）主要内容：一.向量內积的几何意义二.基的变换三.协方差矩阵四.PCA求解一.向量內积的几何意义 1.假设A、B为二维平面xoy内两个向量，A为(x 阅读全文

posted @ 2018-08-14 20:34 h_z_cong 阅读(414) 评论(0) 推荐(0)

《机器学习实战》学习笔记第七章 —— AdaBoost元算法

摘要：主要内容：一.提升方法与AdaBoost算法的简介二.AdaBoost算法三.代码解释一.提升方法与AdaBoost算法的简介 1.提升方法：从弱学习算法出发，反复学习，得到一系列弱分类器（又称为基本分类器），然后组合这些弱分类器，构成一个强分类器。大多数的提升方法都是改变训练数据的概率分布阅读全文

posted @ 2018-08-13 16:12 h_z_cong 阅读(511) 评论(0) 推荐(0)

《机器学习实战》学习笔记第五章 —— Logistic回归

摘要：一.有关笔记： 1..吴恩达机器学习笔记（二） —— Logistic回归 2.吴恩达机器学习笔记（十一） —— Large Scale Machine Learning 二.Python源码（不带正则项）：三.Batch gradient descent、Stochastic gradient 阅读全文

posted @ 2018-08-10 15:48 h_z_cong 阅读(475) 评论(0) 推荐(0)

《机器学习实战》学习笔记第四章 —— 朴素贝叶斯法

摘要：主要内容：一.贝叶斯公式与朴素贝叶斯法二.先验概率与后验概率三.极大似然估计与贝叶斯估计四.利用朴素贝叶斯进行文档分类五.利用朴素贝叶斯进行垃圾邮件过滤六.补充一.贝叶斯公式与朴素贝叶斯法 1.贝叶斯公式 2.朴素贝叶斯：假定所有变量X都相互独立（条件独立性），那么上式中的P(X|Y) 阅读全文

posted @ 2018-08-08 21:28 h_z_cong 阅读(665) 评论(0) 推荐(0)

《机器学习实战》学习笔记第三章 —— 决策树之ID3、C4.5算法

摘要： (这两个算法似乎都需要y是离散的，而CART算法y是离散或者连续都可以，对应不同的评价标准) 主要内容：一.决策树模型二.信息与熵三.信息增益与ID3算法四.信息增益比与C4.5算法五.决策树的剪枝一.决策树模型 1.所谓决策树，就是根据实例的特征对实例进行划分的树形结构。其中有两种节点阅读全文

posted @ 2018-08-06 20:36 h_z_cong 阅读(345) 评论(0) 推荐(0)

《机器学习实战》学习笔记第二章 —— K-近邻算法

摘要：主要内容：一.算法概述二.距离度量三.k值的选择四.分类决策规则五.利用KNN对约会对象进行分类六.利用KNN构建手写识别系统七.KNN之线性扫描法的不足八.KD树一.算法概述 1.k近邻算法，简而言之，就是选取k个与输入点的特征距离最近的数据点中出现最多的一种分类，作为输入点的类阅读全文

posted @ 2018-08-03 21:02 h_z_cong 阅读(404) 评论(0) 推荐(0)

吴恩达机器学习笔记（十二） —— Application Example: Photo OCR（完）

摘要：主要内容：一.Photo OCR 二.Getting lots of data：artificial data synthesis 三.Ceiling analysis 一.Photo OCR Photo OCR就是从图片中提取文本或者需要的数据，其具体步骤可分三个：第一步：Text detec 阅读全文

posted @ 2018-07-29 15:53 h_z_cong 阅读(303) 评论(0) 推荐(0)

吴恩达机器学习笔记（十一） —— Large Scale Machine Learning

摘要：主要内容：一.Batch gradient descent 二.Stochastic gradient descent 三.Mini-batch gradient descent 四.Online learning 五.Map-reduce and data parallelism 一.Batch 阅读全文

posted @ 2018-07-28 21:20 h_z_cong 阅读(409) 评论(0) 推荐(0)

吴恩达机器学习笔记（十） —— 推荐系统

摘要：主要内容：一.推荐系统简介二.Content-based recommendations 三.Collaborative filtering algorithm 四.预测结果向量化五.mean normalization 一.推荐系统简介推荐系统，即利用已有的数据，从中提取出可能有用的特征，阅读全文

posted @ 2018-07-27 15:45 h_z_cong 阅读(384) 评论(0) 推荐(0)

吴恩达机器学习笔记（九） —— 异常检测(Anomaly detection)

摘要：主要内容：一.模型介绍二.算法过程三.算法性能评估及ε(threshold)的选择四.Anomaly detection vs Supervised learning 五.Multivariate Gaussian 一.模型介绍如何检测一个成品是否异常？假设红交叉表示正常的样本点，如果抽阅读全文

posted @ 2018-07-27 15:29 h_z_cong 阅读(624) 评论(0) 推荐(0)

吴恩达机器学习笔记（八） —— 降维与主成分分析法(PCA)

摘要：主要内容：一.降维与PCA 二.PCA算法过程三.PCA之恢复四.如何选取维数K 五.PCA的作用与适用场合一.降维与PCA 1.所谓降维，就是将数据由原来的n个特征(feature)缩减为k个特征(可能从n个中直接选取k个，也能根据这n个重新组合成k个)。可起到数据压缩的作用（因而也就存在阅读全文

posted @ 2018-07-24 21:11 h_z_cong 阅读(5008) 评论(2) 推荐(1)

吴恩达机器学习笔记（七） —— K-means算法

摘要：主要内容：一.K-means算法简介二.算法过程三.随机初始化四.二分K-means 四.K的选择一.K-means算法简介 1.K-means算法是一种无监督学习算法。所谓无监督式学习，就是输入样本中只有x，没有y，即只有特征，而没有标签，通过这些特征对数据进行整合等操作。而更细化一点地阅读全文

posted @ 2018-07-24 15:13 h_z_cong 阅读(8737) 评论(0) 推荐(2)

吴恩达机器学习笔记（六） —— 支持向量机SVM

摘要：主要内容：一.损失函数二.决策边界三.Kernel 四.使用SVM （有关SVM数学解释：机器学习笔记（八）震惊！支持向量机（SVM）居然是这种机）一.损失函数二.决策边界对于：当C非常大时，括号括起来的部分就接近于0，所以就变成了：非常有意思的是，在最小化 1/2*∑θj^2的时候阅读全文

posted @ 2018-07-22 09:09 h_z_cong 阅读(1297) 评论(0) 推荐(0)

吴恩达机器学习笔记（五） —— 应用机器学习的建议和机器学习系统设计

摘要：主要内容：一.Evaluating a hypothesis 二.Model selection and training/validation/test sets 三.Bias and variance 四.Learning curves 五.Precision and recall 六.Hig 阅读全文

posted @ 2018-07-19 21:30 h_z_cong 阅读(429) 评论(0) 推荐(0)