摘要： 1 2 3 fminunc表示Octave里无约束最小化函数，调用这个函数时，需要传入一个存有配置信息的变量options。上面的代码中，我们的设置项中’GradObj’, ‘on’,代表设置梯度目标参数为打开状态(on)，这也意味着你现在确实要给这个算法提供一个梯度。’MaxIter’, ‘100 阅读全文

摘要： >> v = zeros(10,1)v = 0 0 0 0 0 0 0 0 0 0 >> for i=1:10; v(i) = 2^i; end;>> vv = 2 4 8 16 32 64 128 256 512 1024 >> indices = 1:10;>> indicesindices = 阅读全文

摘要： Octave环境的安装 Octave是一种解释类的编程语言，并且是GNU项目下的开源软件，与之相对是大家都非常熟悉的matlab，Octave和matlab语法基本上一致，都是用来快速做一些强大的矩阵运算来使用的，最大的不同是Octave是完全免费的，并且是开源的，这意味着任何人都可以直接去使用甚至 阅读全文

摘要： 基础：损失函数的定义，参考http://blog.csdn.net/l18930738887/article/details/50615029 目标：已知学习样本，求解预测函数的系数，希望损失函数取到最小值。 一、原理介绍： 假设我们已知门店销量为 门店数X 实际销量Y 1 13 2 14 3 20 阅读全文

摘要： 编者注：本文包含了使用Python2.X读取数据、数据处理、作图，构建梯度下降法函数求解一元线性回归，并对结果进行可视化展示，是非常综合的一篇文章，包含了Python的数据操作、可视化与机器学习等内容。学习了这一篇文章就大概了解或掌握相关Python编程与数据分析等内容。另外，本文还巧妙地进行了一个 阅读全文

摘要： 一、梯度下降算法理论知识 我们给出一组房子面积，卧室数目以及对应房价数据，如何从数据中找到房价y与面积x1和卧室数目x2的关系？ 为了实现监督学习，我们选择采用自变量x1、x2的线性函数来评估因变量y值，得到： 这里，sita1、sita2代表自变量x1、x2的权重（weights），sita0代表 阅读全文

摘要： 梯度下降算法是一个很基本的算法，在机器学习和优化中有着非常重要的作用，本文首先介绍了梯度下降的基本概念，然后使用python实现了一个基本的梯度下降算法。梯度下降有很多的变种，本文只介绍最基础的梯度下降，也就是批梯度下降。 实际应用例子就不详细说了，网上关于梯度下降的应用例子很多，最多的就是NG课上 阅读全文

摘要： 这篇文章主要给大家介绍了关于python中matplotlib实现最小二乘法拟合的相关资料，文中通过示例代码详细介绍了关于最小二乘法拟合直线和最小二乘法拟合曲线的实现过程，需要的朋友可以参考借鉴，下面来一起看看吧。 前言 最小二乘法Least Square Method，做为分类回归算法的基础，有着 阅读全文

摘要： 之所以说”使用”而不是”实现”，是因为python的相关类库已经帮我们实现了具体算法，而我们只要学会使用就可以了。随着对技术的逐渐掌握及积累，当类库中的算法已经无法满足自身需求的时候，我们也可以尝试通过自己的方式实现各种算法。 言归正传，什么是”最小二乘法”呢？ 定义：最小二乘法（又称最小平方法）是 阅读全文

摘要： 梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。梯度下降 阅读全文