10 2019 档案

机器学习笔记（十）大规模机器学习
摘要：Lage scale machine learnning（大规模机器学习） 1、判断是否有必要扩大数据量？ 使用学习曲线，观察随着 m 的增大，测试误差是否有显著下降，如高方差情况（过拟合）. 2、Stochastic gradient descent（随机梯度下降）： （1）问题背景： 当数据过于 阅读全文
posted @ 2019-10-31 22:53 橙同学的学习笔记 阅读(341) 评论(0) 推荐(0)
机器学习作业（八）异常检测与推荐系统——Matlab实现
摘要：题目下载【传送门】 第1题 简述：对于一组网络数据进行异常检测. 第1步：读取数据文件，使用高斯分布计算 μ 和 σ²： 其中高斯分布计算函数estimateGaussian： 第2步：计算概率p(x)： 其中概率计算函数 第3步：可视化数据，并绘制概率等高线： 其中visualizeFit函数： 阅读全文
posted @ 2019-10-30 15:25 橙同学的学习笔记 阅读(1511) 评论(0) 推荐(0)
机器学习笔记（九）异常检测与推荐系统
摘要：Anomaly detection（异常检测） 1、问题定义：假设数据集{x(1), x(2), ..., x(3)}表示的数据都是正常的，则判断xtest是否异常。 若概率值 p(xtest) < ε，则表示异常；若 p(xtest) ≥ ε ，则表示正常。 2、Gaussian Distribu 阅读全文
posted @ 2019-10-29 22:48 橙同学的学习笔记 阅读(788) 评论(0) 推荐(0)
Coursera 吴恩达 机器学习 学习笔记
摘要：Week 1 机器学习笔记（一）基本概念与单变量线性回归 Week 2 机器学习笔记（二）多元线性回归 机器学习作业（一）线性回归——Matlab实现 机器学习作业（一）线性回归——Python(numpy)实现 Week 3 机器学习笔记（三）逻辑回归 机器学习作业（二）逻辑回归——Matlab实 阅读全文
posted @ 2019-10-28 18:14 橙同学的学习笔记 阅读(1046) 评论(0) 推荐(0)
机器学习作业（七）非监督学习——Matlab实现
摘要：题目下载【传送门】 第1题 简述：实现K-means聚类，并应用到图像压缩上。 第1步：实现kMeansInitCentroids函数，初始化聚类中心： 第2步：实现findClosestCentroids函数，进行样本点的分类： 第3步：实现computeCentroids函数，计算聚类中心： 第 阅读全文
posted @ 2019-10-28 18:05 橙同学的学习笔记 阅读(2324) 评论(0) 推荐(0)
机器学习笔记（八）非监督学习
摘要：K-Means cluster （K-均值聚类） 1、算法思想： 算法分为两个步骤，簇分配和移动聚类中心。 在每次循环中，第一步是簇分配，即遍历样本，依据更接近哪一个聚类中心，分配到不同的聚类中，如下图所示； 在确定分类后，根据堆点的均值移动聚类中心，如下图所示； 依据新的聚类中心，再次进行簇分配， 阅读全文
posted @ 2019-10-27 15:36 橙同学的学习笔记 阅读(623) 评论(0) 推荐(0)
机器学习作业（六）支持向量机——Matlab实现
摘要：题目下载【传送门】 第1题 简述：支持向量机的实现 （1）线性的情况： 第1步：读取数据文件，可视化数据： 第2步：设定不同的C，使用线性核函数训练SVM，并画出决策边界： 运行结果： C = 1时： C = 1000时： 其中线性核函数linearKernel： 高斯核函数gaussianKern 阅读全文
posted @ 2019-10-26 12:04 橙同学的学习笔记 阅读(8364) 评论(0) 推荐(1)
机器学习笔记（七）支持向量机
摘要：Support vector machine（支持向量机 SVM） 1、推导： （1）对于逻辑回归，cost函数为： ① 当 y = 1时，即 θTx >> 0时 ，cost = - log(1 / (1 + e-z)) ，图像如下： 用新的代价函数产生新的曲线：cost1(z) ② 当 y = 0 阅读全文
posted @ 2019-10-25 14:58 橙同学的学习笔记 阅读(781) 评论(0) 推荐(0)
机器学习作业（五）机器学习算法的选择与优化——Matlab实现
摘要：题目下载【传送门】 第1步：读取数据文件，并可视化： 运行结果： 第2步：实现linearRegCostFunction函数，采用线性回归和正规化求 J 和 grad： 第3步：实现训练函数trainLinearReg： 使用 lambda = 0，测试结果： 运行结果：很显然，采用 y = θ0 阅读全文
posted @ 2019-10-24 16:09 橙同学的学习笔记 阅读(1510) 评论(0) 推荐(0)
机器学习作业（四）神经网络参数的拟合——Python(numpy)实现
摘要：题目下载【传送门】 题目简述：识别图片中的数字，训练该模型，求参数θ。 出现了一个问题：虽然训练的模型能够有很好的预测准确率，但是使用minimize函数时候始终无法成功，无论设计的迭代次数有多大，如下图： 隐藏层显示： 阅读全文
posted @ 2019-10-24 08:34 橙同学的学习笔记 阅读(2318) 评论(0) 推荐(0)
机器学习笔记（六）机器学习算法的选择与优化
摘要：1、当预测结果与实际偏差很大时的处理方法： （1）增加训练样本； （2）减少特征集防止过拟合； （3）增加特征集或者多项式特征（如 x1²， x2³ 等）； （4）减小 / 增大 lambda . 2、评估假设函数： 将数据集分成两部分：训练集（70%）和测试集（30%） 具体流程： （1）通过学习 阅读全文
posted @ 2019-10-23 13:26 橙同学的学习笔记 阅读(777) 评论(0) 推荐(0)
机器学习作业（四）神经网络参数的拟合——Matlab实现
摘要：题目下载【传送门】 题目简述：识别图片中的数字，训练该模型，求参数θ。 第1步：读取数据文件： 第2步：初始化参数： 其中randInitializeWeights函数实现初始化θ： 第3步：实现nnCostFunction函数，计算 J 和 D： 其中sigmoid函数： 其中sigmoidGra 阅读全文
posted @ 2019-10-21 16:45 橙同学的学习笔记 阅读(2635) 评论(0) 推荐(0)
机器学习笔记（五）神经网络参数的拟合
摘要：Cost function（代价函数） 1、参数表示： m 个训练样本：{(x(1), y(1)), (x(2), y(2)), ..., (x(m), y(m))} 神经网络的层数：L l 层的神经元数量（不计入偏置单元）：Sl 2、两种分类问题： （1）Binary classification 阅读全文
posted @ 2019-10-18 21:01 橙同学的学习笔记 阅读(4116) 评论(0) 推荐(0)
机器学习作业（三）多类别分类与神经网络——Python(numpy)实现
摘要：题目太长了！下载地址【传送门】 第1题 简述：识别图片上的数字。 运行结果： 第2题 简介：使用神经网络实现数字识别（Θ已提供） 神经网络的矩阵表示分析： 运行结果： 阅读全文
posted @ 2019-10-18 19:34 橙同学的学习笔记 阅读(3309) 评论(1) 推荐(1)
论文阅读笔记（一）相关综述
摘要：学习内容： 基于深度学习的行人重识别研究进展(自动化学报.2019)——第1-2章 渐进式行人重识别关键技术研究（博士论文.2019）——第1章 【由于刚开始接触Re-ID，尚未学习深度学习，理解较为粗浅，仅仅阅读了通识部分，算法章节待基础学完再去理解。】 1、什么是行人重识别？ 行人重识别 (Pe 阅读全文
posted @ 2019-10-18 19:34 橙同学的学习笔记 阅读(833) 评论(0) 推荐(0)
机器学习作业（三）多类别分类与神经网络——Matlab实现
摘要：题目太长了！下载地址【传送门】 第1题 简述：识别图片上的数字。 第1步：读取数据文件： 第2步：实现displayData函数： 运行结果： 第3步：计算θ： 其中oneVsAll函数： 第4步：实现lrCostFunction函数： 第5步：实现sigmoid函数： 第6步：计算预测的准确性： 阅读全文
posted @ 2019-10-17 21:07 橙同学的学习笔记 阅读(3068) 评论(0) 推荐(1)
机器学习笔记（四）神经网络的基本概念
摘要：Neural networks（神经网络） 1、问题背景： 在计算机视觉处理中，50*50的图片有2500个像素点，对于所有“xi*xj”二次项特征值有2500*2500/2 ≈ 300万，特征过多导致过拟合。 2、模型： 如果第 j 层有 sj 个神经元，第 j+1 层有 sj+1 个神经元，那么 阅读全文
posted @ 2019-10-16 21:43 橙同学的学习笔记 阅读(711) 评论(0) 推荐(0)
机器学习作业（二）逻辑回归——Python(numpy)实现
摘要：题目太长啦！文档下载【传送门】 第1题 简述：实现逻辑回归。 此处使用了minimize函数代替Matlab的fminunc函数，参考了该博客【传送门】。 运行结果： 第2题 简述：通过正规化实现逻辑回归。 运行结果： 阅读全文
posted @ 2019-10-15 21:06 橙同学的学习笔记 阅读(1832) 评论(0) 推荐(0)
机器学习作业（二）逻辑回归——Matlab实现
摘要：题目太长啦！文档下载【传送门】 第1题 简述：实现逻辑回归。 第1步：加载数据文件： 第2步：plotData函数实现训练样本的可视化： 第3步：计算代价函数和梯度： 第4步：实现costFunction函数： 第5步：实现sigmoid函数： 第6步：使用fminunc函数求θ和Cost： 第7步 阅读全文
posted @ 2019-10-14 19:00 橙同学的学习笔记 阅读(6918) 评论(0) 推荐(0)
学习目录
摘要：截至2019年10月13日： 主要学习了Python基础语法、Numpy包、机器学习部分内容（线性回归、逻辑回归），博客目录如下： numpy学习笔记 numpy学习(一) numpy学习(二) numpy学习(三) numpy学习(四) numpy学习(五) numpy小结（一） 机器学习笔记 基 阅读全文
posted @ 2019-10-13 09:28 橙同学的学习笔记
机器学习笔记（三）逻辑回归
摘要：Classification（分类） 1、问题背景： 特殊的样本点会使得分界点发生漂移，影响准确性。 Hypothesis representation（假设函数表达式） 1、Logistic regression Model（逻辑回归模型）： （1）Sigmoid function / Logis 阅读全文
posted @ 2019-10-12 21:44 橙同学的学习笔记 阅读(797) 评论(0) 推荐(0)
机器学习作业（一）线性回归——Python(numpy)实现
摘要：题目太长啦！文档下载【传送门】 第1题 简述：设计一个5*5的单位矩阵。 运行结果： 第2题 简述：实现单变量线性回归。 运行结果： 第3题 简述：实现多元线性回归。 运行结果：【一个疑惑>>两种方法求解的估算价格很小，但θ相差较大？】 阅读全文
posted @ 2019-10-10 16:23 橙同学的学习笔记 阅读(4702) 评论(0) 推荐(0)
机器学习作业（一）线性回归——Matlab实现
摘要：题目太长啦！文档下载【传送门】 第1题 简述：设计一个5*5的单位矩阵。 运行结果： 第2题 简述：实现单变量线性回归。 第1步：加载数据文件； 第2步：plotData函数实现训练样本的可视化； 第3步：使用梯度下降函数计算局部最优解，并显示线性回归； 第4步：实现梯度下降gradientDesc 阅读全文
posted @ 2019-10-08 20:44 橙同学的学习笔记 阅读(4204) 评论(0) 推荐(1)
机器学习笔记（二）多元线性回归
摘要：Multiple Features （多特征量） 1、字符定义： 2、Multivariate Linear Regression （多元线性回归）： 3、代价函数： 4、梯度下降算法： 梯度下降技巧一——Feature Scaling （特征缩放） 1、定义：将每个特征量缩放到-1和1之间。（与之 阅读全文
posted @ 2019-10-04 16:37 橙同学的学习笔记 阅读(741) 评论(0) 推荐(0)