分类与预测
分类与预测
主要分类与预测算法
回归分析 确定预测值与其他变量关系。线性、非线性、Logistic、岭回归、主成分回归等
决策树 自顶向下分类
人工神经网络 用神经网络表示输入与输出之间的关系
贝叶斯网络 又称信度网络,是不确定知识表达和推理领域最有效的理论模型之一
支持向量机 将低维非线性可分转化为高维线性可分进行分析
主要回归模型分类
线性回归 因/自变量是线性关系 对一个或多个自/因变量线性建模,用最小二乘法求系数
非线性回归 因/自变量是非线性 非线性建模
Logistic回归 因变量为0或1 广义线性回归特例,利用Logistic函数将因变量控制0-1内表示取值为1的概率
岭回归 参与建模的自变量间具有多重共线性 改进的最小二乘法
主成分回归 同上 根据PCA提出,是参数估计的一种有偏估计
逻辑回归——Scikit-Learn
决策树——sklearn.tree;输出一个tree.dot文件,许安装Graphviz进行可视化
人工神经网络——keras
BP神经网络 信息正传播,误差逆传播
LM神经网络 给予梯度下降法和牛顿法的多层前馈神经网络,迭代次数少,收敛块,精度高
RBF径向基神经网络 能以任意精度逼近任意连续函数,输入层-隐含层是非线性,隐含层-输出成是线性,特别适合解决分类问题
FNN模糊神经网络 具有模糊权系数或输入信号是模糊两的神经网络,汇聚NN和模糊系统的有点
GMDH神经网络 也称多项式网络,网络结构在训练中变化
ANFIS自适应神经网络 NN镶嵌在一个全模糊的结构中,自动产生、修正、高度概括出最佳隶属函数和模糊规则
SVM——sklearn.svm
随机森林——sklearn.ensemble
朴素贝叶斯——sklearn.naive_bayes
建模的第一步都是建立一个空白的对象,然后设置模型参数,利用fit进行巡林啊,最后用predict方法预测结果,之后进行一些评估如score等
误差评价
:绝对误差、相对误差、平均绝对误差、均方误差、均方根误差、平均绝对百分误差、Kappa统计、识别准确度、识别精确率、反馈率、ROC曲线、混淆矩阵
聚类分析
常用方法:划分方法、层次分析方法、基于密度的方法、基于网格的方法、给予模型的方法
常用算法:K-Means、K-中心点、系统聚类(多层次聚类)
评价方法:purity评价法(正确的比例)、RI评价法、F值评价法
聚类可视化工具——TSNE
关联规则 :也称为购物篮分析,目标是找出各项之间的关系
常用算法:Apriori、FP-Tree、Eclat算法、灰色关联法
时序模式 :给定一个已被观测的时间序列,预测该序列的未来值
常用模型:平滑法、趋势你合法、组合模型、AR模型、MA模型、ARMA模型、ARIMA、ARCH、GARCH模型及衍生
python主要时序算法函数:acf自相关,plot_acf画自相关系数图、pacf计算偏相关系数、plot_pacf画偏相关系数图、adfuller对观测值序列进行单位根检验、diff差分计算、ARIMA创建ARIMA时序模型、summary或summaty2给出ARIMA模型报告、aic/bic/hqic计算ARIMA模型的指标值、forecast预测、acorr_ljungbox检验白噪声
离群点检测
成因:数据源不同、自然变异、测量和收集误差
类型:全局离群点和局部离群点;数值型离群点和分类型离群点;一维离群点和多维离群点
检测方法:基于统计、基于邻近度、基于密度、基于聚类