摘要:
时间序列分析的主要目的是根据已有的历史数据对未来进行预测。如餐饮销售预测可以看做是基于时间序列的短期数据预测, 预测的对象时具体菜品的销售量。 1.时间序列算法: 常见的时间序列模型; 2.时序模型的预处理 1. 对于纯随机序列,也称为白噪声序列,序列的各项之间没有任何的关系, 序列在进行完全无 阅读全文
摘要:
概念: 聚类分析(cluster analysis ):是一组将研究对象分为相对同质的群组(clusters)的统计分析技术。聚类分析也叫分类分析,或者数值分类。聚类的输入是一组未被标记的样本,聚类根据数据自身的距离或者相似度将其划分成若干个组,划分的原则是组内距离最小化而组间(外部)距离最大化。聚 阅读全文
摘要:
本章的几个概念: 估计器(estimator) 用于分类、聚类和回归分析 转换器(transformer):用于数据预处理回来数据转换 流水线(pipeline): 组合数据挖掘流程, 便于在此使用 1.scikit-learn估计器 数据集下载地址:UCI 加载数据集: #coding=gbk # 阅读全文
摘要:
1.集成学习概念: • 个体学习器通常是用一个现有的学习算法从训练数据产生,例如C4.5决策树算法、BP神经网络算法等。此时集成中只包含同种类型的个体学习器,例如“决策树集成”中的个体学习器全是决策树,“神经网络集成”中就全是神经网络,这样的集成是“同质”(homogeneous)的,同质集成中的个 阅读全文
摘要:
•1.关联分析概念 关联分析是从大量数据中发现项集之间有趣的关联和相关联系。 •定义:1、事务:每一条交易称为一个事务,如上图包含5个事务。2、项:交易的每一个物品称为一个项,例如豆奶,啤酒等。 3、项集:包含零个或多个项的集合叫做项集,例如{尿布,啤酒}。4、k−项集:包含k个项的项集叫做k- 阅读全文
摘要:
一,scikit-learn中常用的评估模型 1.评估分类模型: 2.评估回归模型: 二、常见模型评估解析: •对于二分类问题,可将样例根据其真实类别和分类器预测类别划分为:(T,F表示预测的正确与错误性,P,N表示预测的正类和负类) •真正例(TruePositive,TP):真实类别为正 阅读全文
摘要:
•1.SVM 的基本思想: •SVM把分类问题转换成寻求分类平面的问题,并通过最大化分类边界点到分类平面的距离来实现分类。通俗的讲支持向量机的解决的问题是找到最好的分类超平面。支持向量机(Support vector machine)通常用来解决二分类问题 2.构造目标函数 类似于点到直线的距离 阅读全文
摘要:
1. 算法核心思想: 通过计算每个训练样本到待分类样本的距离,选取和待分类样本的距离最近的 K 个训练样本,K个样本中那个类别的训练样本占据着多数, 则表明待分类的样本就属于哪一个类别。 KNN算法在类别的决策中, 只与极少数的相邻样本相关。因此,对于类别的样本交叉或重叠较多的待分类样本集来说, K 阅读全文
摘要:
1.什么是决策树: 决策树是以树状结构表示数据分类的结果 非叶子结点代表测试的条件。 分支代表测试的结果 2.如何构建决策树: ´1.信息熵(informationentropy):是度量样本集合纯度最常用的一种指标。 2.基尼系数(gini):是度量样本集合不确定性指标。(基尼指数与熵可近 阅读全文
摘要:
逻辑回归的基本过程:a建立回归或者分类模型 >b 建立代价函数 > c 优化方法迭代求出最优的模型参数 >d 验证求解模型的好坏。 1.逻辑回归模型: 逻辑回归(Logistic Regression):既可以看做是回归算法,也可以看做是分类算法。通常作为分类算法,一般用于解决二分类问题。 线性回归 阅读全文