06 2018 档案
摘要：一、基础理解 1） PCA 降维的基本原理 寻找另外一个坐标系，新坐标系中的坐标轴以此表示原来样本的重要程度，也就是主成分；取出前 k 个主成分，将数据映射到这 k 个坐标轴上，获得一个低维的数据集。 2）主成分分析法的本质 将数据集从一个坐标系转换到另一个坐标系，原坐标系有 n 个维度（n 中特征
阅读全文
摘要：一、目标函数的梯度求解公式 PCA 降维的具体实现，转变为： 方案：梯度上升法优化效用函数，找到其最大值时对应的主成分 w ； 1）推导梯度求解公式 变形一 变形二 变形三：向量化处理 最终的梯度求解公式：▽f = 2 / m * XT . (X . dot(w) ) 二、代码实现（以二维降一维为例
阅读全文
摘要：PCA（Principal Component Analysis） 一、指导思想 降维是实现数据优化的手段，主成分分析（PCA）是实现降维的手段； 降维是在训练算法模型前对数据集进行处理，会丢失信息。 降维后，如果丢失了过多的信息，在我们不能容忍的范围里，就不应该降维。 降维没有正确与否的标准，只有
阅读全文
摘要：一、梯度下降法的调试 1）疑问 / 难点 如何确定梯度下降法的准确性？ 损失函数的变量 theta 在某一点上对应的梯度是什么？ 在更负责的模型中，求解梯度更加不易； 有时候，推导出公式后，并将其运用到程序中，但当程序运行时，有时对梯度的计算可能会出现错误，怎么才能发现这种错误？ 2）梯度下降法的调
阅读全文
摘要：1）向量与数组的区别： 2）不同长度的数组相加 一维数组(m, ) + 向量(n, 1)：矩阵(n, m) 3）矩阵相乘 矩阵 . dot(一维数组)：一维数组（m, ） 矩阵 . dot(向量)：向量（m, 1）； 4）删除矩阵（或数组）中的一行 / 一列
阅读全文
摘要：转于：Python中copy和deepcopy中的区别 博主：assan 一、序列中的 copy() 方法 # 此方法为浅度复制：复制的数会随着被复制数的嵌套序列的元素的改变而改变； # 功能：将一个列表复制给另一个列表 # 格式：list_1 = list_2.copy()，（字典、元组一样） 例
阅读全文
摘要：一、导数 # 参考百科：导数 定义：当函数 y = f(x) 的自变量x在一点 x0 上产生一个增量 Δx 时，函数输出值的增量 Δy 与自变量增量 Δx 的比值在 Δx 趋于 0 时的极限 a 如果存在，a 即为在 x0 处的导数，记作 f'(x0) 或 df(x0) / dx； 一个函数在某一点
阅读全文
摘要：一、指导思想 # 只针对线性回归中的使用 算法的最优模型的功能：预测新的样本对应的值； 什么是最优的模型：能最大程度的拟合住数据集中的样本数据； 怎么才算最大程度的拟合：让数据集中的所有样本点，在特征空间中距离线性模型的距离的和最小；（以线性模型为例说明） 怎么得到最优模型：求出最优模型对应的参数；
阅读全文
摘要：1、上层函数不能直接使用其嵌套函数的变量； 2、上层函数中的变量可以在其嵌套函数内直接使用： 3、嵌套函数中，不能即使用上层函数变量，又有自己的变量与该上层变量同名： # 提前声明该变量非本地变量（系统会自动从上层函数中查找该变量）：nonlocal z # 代码中的变量 z 均为func1()函数
阅读全文
