12 2023 档案
摘要：目录1. Linear Discriminant Analysis 线性判别分析 1. Linear Discriminant Analysis 线性判别分析 经常被用于分类问题的降维技术，相比于PCA，LDA可以作为一种有监督的降维算法，降维的时候用到了y的真实值，有监督的降维。 在PCA中，算法
阅读全文
摘要：目录1. 引入2. 几何的角度理解SVD3. 空间的角度理解4 如何求解SVD5. SVD的应用 1. 引入 奇异值分解，singular value deconposition是6种矩阵分解方式中，综合性最强应用最广泛的分解技术，是PCA（主成分分析）的基础 六种矩阵分解技术： 只有矩阵为方阵(m
阅读全文
摘要：目录1. 概念2. 性质3. 相似矩阵4. 矩阵的行列式与迹5. 特征值与特征向量分解矩阵 1. 概念 特征值与特征向量的英文是 eigenvalue 和 eigenvector， 这个前缀 eigen- 起源于德语，意思是 proper(这里应该是专属的意思）、characteristic（特征的
阅读全文
摘要：[POC] 1. 奇异值分解的本质 特征值分解只能够对于方阵提取重要特征， Ax=λx λ为特征值 x为对应的特征向量 奇异值分解可以对于任意矩阵； 注意看中间的矩阵是一个对角矩阵，颜色越深越起作用-值越大 颜色越浅越接近0 U是左奇异矩阵，V是右奇异矩阵，均是正交矩阵， 中间的Σ是对角阵，除对角线
阅读全文
摘要：目录1. 降维的方式2. PCA的一般步骤3. 思想2 最小化投影距离4. Kernelized PCA 1. 降维的方式 对于维度灾难、数据冗余，这些在数据处理中常见的场景，我们不得不进一步处理，得到更精简更有价值的特征信息，所用的的各种方法的统称就是降维 特征抽取：叫做特征映射更合适。因为它的思
阅读全文
摘要：目录1.什么是GMM2. GMM 算法的一般流程3. 使用模型 1.什么是GMM 假设不同的簇数据来自于不同的高斯分布。或者换句话说，高斯混合模型就是当成数据集是由多个高斯分布混合而成的。这是这个模型的核心思想. 一维的gauss分布： 多变量（比如d个变量）高斯分布的概率密度函数： μ是一个n维向
阅读全文
摘要：目录1. AP聚类算法2. Spectral Clustering 谱聚类 参考链接：https://www.cnblogs.com/pinard/p/6221564.html 1. AP聚类算法 affinity 相似度 propgaption 传播 exemplars 模范 代表 Affinit
阅读全文
摘要：目录1.凝聚聚类 Agglomerative Clustering2. 分裂聚类3. BIRCH 1.凝聚聚类 Agglomerative Clustering 在不同层次上对数据集进行划分，形成树状的聚类结构。AggregativeClustering是一种常用的层次聚类算法。 最初将每个样本点看
阅读全文
摘要：目录1. DBSCAN2. OPTICS2. MeanShift 1. DBSCAN Density based clustering DBSCAN不要求我们指定cluster簇的数量，避免了异常值，并且在任意形状和大小的cluster簇中工作得非常好。它没有质心，聚类簇是通过将相邻的点连接在一起的
阅读全文
摘要：目录1. k-Medoids2. 二分KMEANS3. KMeans++4. elkan KMeans5. min batch KMeans算法6.小结： 1. k-Medoids 之前的kmeans算法 对于异常点数据特别敏感，更新中心点的时候，是对于该簇的所有样本点求平均，这种方式对于异常样本特
阅读全文
摘要：目录1. 什么是聚类2. 代码实现 1. 什么是聚类 无监督机器学习的一种 输入数据只有X 没有y 将已有的数据 根据相似度 将划分到不同的簇 （花团锦簇） 步骤： 随机选择k个簇的中心点 样本根据距离中心点的距离分配到不同的簇 重新计算簇的中心点 重复 2-3直到所有样本 分配的簇不再发生改变 距
阅读全文
摘要：目录1. SVM概率化输出2. 合页损失 1. SVM概率化输出 标准的SVM进行预测 输出的结果是： 是无法输出0-1之间的 正样本 发生的概率值 sigmoid-fitting 方法： 将标准 SVM 的输出结果进行后处理，转换成后验概率 A,B 为待拟合的参数， f 为样本 x 的无阈值输出。
阅读全文
摘要：1. alpha2 的修剪 if y1 != y2 : α1 - α2 = k # 不用算k的具体大小 if k > 0: # 上图的左 下这条线 α2 的区间 (0, c-k) k < 0 : # 上图的左 下这条线 α2 的区间 （-k, C） 所以： L = max(0, -k) # k>0
阅读全文
摘要：目录1. SVM算法总结2. SMO算法 1. SVM算法总结 选择 核函数 以及对应的 超参数 为什么要选择核函数？ 升维 将线性问题不可分问题 升维后转化成 线性可分的问题 核函数 有那些？ linea gauss polinormail tanh 选择惩罚项系数C min ||w||2 + C
阅读全文
摘要：目录1. 总结 SVM2. 软间隔svm4. 核函数 1. 总结 SVM SVM算法的基础是感知器模型， 感知器模型 与 逻辑回归的不同之处？ 逻辑回归 sigmoid(θx) 映射到 0-1之间给出预测概率 感知器分类 sign(θx) 输出θx的符号， +1 或者-1 给出x是属于正样本还是负样
阅读全文
摘要：目录1. 铺垫 感知器算法模型2. SVM 算法思想3. 硬分割SVM总结 支持向量机(Support Vector Machine, SVM)本身是一个二元分类算法，是对感知器算法模型的一种扩展。 1. 铺垫 感知器算法模型 什么是感知器算法模型？ 感知器算法是最古老的分类算法之一，原理比较简单，
阅读全文
摘要：#!/usr/bin/env python # coding: utf-8 # In[3]: from scipy import fft from scipy.io import wavfile from matplotlib.pyplot import specgram import matplo
阅读全文
摘要：1. softmax回归 伯努利分布（0-1分布 二分类），我们采用Logistic回归（用sigmoid函数映射到 0-1之间 输出预测概率）建模。 那么我们应该如何处理多分类问题？（比如要进行邮件分类；预测病情属于哪一类等等）。对于这种多项式分布我们使用softmax回归建模。 什么是多项分布？
阅读全文
摘要：1. 二分类 #!/usr/bin/env python # coding: utf-8 # In[7]: import numpy as np from sklearn import datasets from sklearn.linear_model import LogisticRegress
阅读全文
摘要：目录1. sigmoid函数2. 伯努利分布（0-1分布）3. 广义线性回归4. 逻辑回归 损失函数的推导5. 损失函数求导6. 代码并绘图 1. sigmoid函数 逻辑回归 logitstic regression 本质是二分类 sigmoid函数 是将 （-无穷， +无穷）区间上的y 映射到
阅读全文
摘要：目录1. 为什么要升维2 代码实现3, 总结 1. 为什么要升维 升维的目的是为了去解决欠拟合的问题的，也就是为了提高模型的准确率为目的的，因为当维度不够时，说白了就是对于预测结果考虑的因素少的话，肯定不能准确的计算出模型。 在做升维的时候，最常见的手段就是将已知维度进行相乘来构建新的维度，如下图所
阅读全文
摘要：目录1. 为什么要加上正则项2 L1稀疏 L2平滑3. 代码1--L2正则4 代码2--L2正则25. 代码3--l1正则6. ElasticNet 1. 为什么要加上正则项 防止模型的过拟合 需要在损失函数LOSS(MSE或者交叉熵)再加上正则项 常用的惩罚项有L1正则项或者L2正则项 其实L1和
阅读全文
摘要：目录1. 为什么要对样本进行 归一化2. 归一化的方式一 最大最小值3. 归一化的方式二 标准归一化 1. 为什么要对样本进行 归一化 样本之间的数量级是千差万别 有量纲的 例如： theta1 >> theta2 数值小的 theta2 反而能快速的 收敛 数值大的 theta1 收敛较慢 出现
阅读全文
摘要：1. 随机梯度下降法 梯度计算的时候 随机抽取一条 import numpy as np X = 2 * np.random.rand(100, 1) y = 4 + 3 * X + np.random.randn(100, 1) X_b = np.c_[np.ones((100, 1)), X]
阅读全文
摘要：1. 梯度下降法 梯度： 是一个theta 与 一条样本x 组成的 映射公式 可以看出梯度的计算量主要来自于 左边部分 所有样本参与 -- 批量梯度下降法 随机抽取一条样本参与 -- 随机梯度下降法 一小部分样本参与 -- 小批量 梯度下降法 2. epoch 与 batch epoch：一次迭代
阅读全文
摘要：1. 解析解 解析解的公式 import numpy as np import matplotlib.pyplot as plt # 有监督机器学习 # X y X = 2 * np.random.rand(100, 1) # np.random.rand # 100行 1列的 [0, 1) 之间均
阅读全文
摘要：最大似然估计 已经从某一分布中获取到n个样本 并且假设改样本的分布服从某一个分布f(θ), θ为需要估计的参数，根据这n个样本去推导θ的值 就叫做最大似然估计，假设样本服从某分布，根据样本计算出分布中的参数，参数计算出之后，就能去进行预测， 正态分布概率密度： 假设样本的误差 服从正态分布 最大似然
阅读全文
