摘要：
目录1. SVM算法总结2. SMO算法 1. SVM算法总结 选择 核函数 以及对应的 超参数 为什么要选择核函数？ 升维 将线性问题不可分问题 升维后转化成 线性可分的问题 核函数 有那些？ linea gauss polinormail tanh 选择惩罚项系数C min ||w||2 + C 阅读全文
摘要：
目录1. 总结 SVM2. 软间隔svm4. 核函数 1. 总结 SVM SVM算法的基础是感知器模型， 感知器模型 与 逻辑回归的不同之处？ 逻辑回归 sigmoid(θx) 映射到 0-1之间给出预测概率 感知器分类 sign(θx) 输出θx的符号， +1 或者-1 给出x是属于正样本还是负样 阅读全文
摘要：
目录1. 铺垫 感知器算法模型2. SVM 算法思想3. 硬分割SVM总结 支持向量机(Support Vector Machine, SVM)本身是一个二元分类算法，是对感知器算法模型的一种扩展。 1. 铺垫 感知器算法模型 什么是感知器算法模型？ 感知器算法是最古老的分类算法之一，原理比较简单， 阅读全文
摘要：
#!/usr/bin/env python # coding: utf-8 # In[3]: from scipy import fft from scipy.io import wavfile from matplotlib.pyplot import specgram import matplo 阅读全文
摘要：
1. softmax回归 伯努利分布（0-1分布 二分类），我们采用Logistic回归（用sigmoid函数映射到 0-1之间 输出预测概率）建模。 那么我们应该如何处理多分类问题？（比如要进行邮件分类；预测病情属于哪一类等等）。对于这种多项式分布我们使用softmax回归建模。 什么是多项分布？ 阅读全文
摘要：
1. 二分类 #!/usr/bin/env python # coding: utf-8 # In[7]: import numpy as np from sklearn import datasets from sklearn.linear_model import LogisticRegress 阅读全文
摘要：
目录1. sigmoid函数2. 伯努利分布（0-1分布）3. 广义线性回归4. 逻辑回归 损失函数的推导5. 损失函数求导6. 代码并绘图 1. sigmoid函数 逻辑回归 logitstic regression 本质是二分类 sigmoid函数 是将 （-无穷， +无穷）区间上的y 映射到 阅读全文
摘要：
目录1. 为什么要升维2 代码实现3, 总结 1. 为什么要升维 升维的目的是为了去解决欠拟合的问题的，也就是为了提高模型的准确率为目的的，因为当维度不够时，说白了就是对于预测结果考虑的因素少的话，肯定不能准确的计算出模型。 在做升维的时候，最常见的手段就是将已知维度进行相乘来构建新的维度，如下图所 阅读全文
摘要：
目录1. 为什么要加上正则项2 L1稀疏 L2平滑3. 代码1--L2正则4 代码2--L2正则25. 代码3--l1正则6. ElasticNet 1. 为什么要加上正则项 防止模型的过拟合 需要在损失函数LOSS(MSE或者交叉熵)再加上正则项 常用的惩罚项有L1正则项或者L2正则项 其实L1和 阅读全文
摘要：
目录1. 为什么要对样本进行 归一化2. 归一化的方式一 最大最小值3. 归一化的方式二 标准归一化 1. 为什么要对样本进行 归一化 样本之间的数量级是千差万别 有量纲的 例如： theta1 >> theta2 数值小的 theta2 反而能快速的 收敛 数值大的 theta1 收敛较慢 出现 阅读全文