山上有风景

摘要： 机器学习作业 偏差和方差（线性回归）错误反例，但是理清了代码思路，很重要 一：加载数据，显示数据 （一）数据可视化 import numpy as np import matplotlib.pyplot as plt import scipy.io as sio import scipy.optim 阅读全文

摘要： 重点思考排错：关于高级优化算法scipy.optimize.minimize （一）代价函数和梯度求解 在代价函数和梯度求解中，我们要多次用到矩阵乘法。 1.numpy.matrix（不推荐） 所以一开始，我使用了numpy.matrix()方法，将我传入的θ、X、y等向量（是numpy.ndarr 阅读全文

摘要： 转载自：https://blog.csdn.net/FrankieHello/article/details/103510118 一：基本概念 （一）点积（dot product) 又称为数量积、标量积（scalar product）或者内积（inner product） 它是指实数域中的两个向量运 阅读全文

摘要： 将谈及在设计复杂的机器学习系统时，你将遇到的主要问题。同时会试着给出一些关于如何巧妙构建一个复杂的机器学习系统的建议。下面的课程的的数学性可能不是那么强，但是将要讲到的这些东西是非常有用的，可能在构建大型的机器学习系统时，节省大量的时间。 一：改进学习算法 实际工作中，我们应该优先处理哪些事情？以一 阅读全文

摘要： 一：决定下一步做什么 在懂机器学习的人当中依然存在着很大的差距，一部分人确实掌握了怎样高效有力地运用这些学习算法。而另一些人可能没有完全理解怎样运用这些算法。因此总是把时间浪费在毫无意义的尝试上。 应该是确保你在设计机器学习的系统时，你能够明白怎样选择一条最合适、最正确的道路。 因此，将介绍一些实用 阅读全文

摘要： 一：随机初始化 当我们使用梯度下降法或者其他高级优化算法时，我们需要对参数θ选取一些初始值。对于高级优化算法，会默认认为我们已经为变量θ设置了初始值： 同样，对于梯度下降法，我们也需要对θ进行初始化。之后我们可以一步一步通过梯度下降来最小化代价函数J，那么如何来对θ进行初始化值呢？ （一）将θ全部设 阅读全文

摘要： 一：神经网络实现识别手写数字 使用神经网络再次实现处理手写数字数据集。通过反向传播算法实现神经网络成本函数和梯度计算得非正则化和正则化版本。还将实现随机权重初始化和使用网络进行预测得方法。 （一）导入库，并且读取数据集 因为我们的数据集类型是.mat文件（是在matlab的本机格式），所以在使用py 阅读全文

摘要： 一：代价函数 为神经网络拟合参数 （一）神经网络字母概念 主要讲解神经网络在分类问题中的应用 假设我们有一个和下图类似的神经网络结构： 并且有一个像下面这样的训练集：其中有m组训练样本(x^i,y^i) 并且用大写字母L表示神经网络结构的总层数： 用sl表示第L层的单元数，也就是神经元的数量（不包含 阅读全文

摘要： 一：为什么需要神经网络 （一）案例 为了很好的拟合数据，我们需要保留较多的相关参数，虽然可以使用正则化进行优化。但是无论是线性回归还是逻辑回归都有这样一个缺点，即：当特征太多时，计算的负荷会非常大。 之前我们已经看到过，使用非线性的多项式项，能够帮助我们建立更好的分类模型。假设我们有非常多的特征，例 阅读全文

摘要： 一：使用逻辑回归来识别手写数字（0-9） （一）导入库，并且读取数据集 因为我们的数据集类型是.mat文件（是在matlab的本机格式），所以在使用python加载时，我们需要使用一个SciPy工具。 import numpy as np import pandas as pd import mat 阅读全文