数据挖掘简述

1.TASKS

      PREDICTION and DESCRIPTION 

2.COMMON METHODS

      CLASSIFACATION ; CLUSTEERING ; SEQUENTIAL PATTERN DISCOVERY ; REGRESSION ; ASSOCIATION RULE DISCOVERY ; DEVIATION DETECTION

【分类；聚类；相关性；

序列分析：用随机过程理论和数理统计学方法，研究随机数据序列所遵从的统计规律，以用于解决实际问题。由于在多数问题中，随机数据是依时间先后排成序列的，故称为时间序列分析；  

回归；异常值检测】

3.A GENERAL PROCEDURE

specify the problems to deal with——input——pre-processing——other treating process（feature-based） like sampling and grouping——modling——output——assessment（ex:处理过拟合，training set）

【1.明确问题：明确是分类or聚类问题（有training set则是分类问题）

2.搜集数据

3.预处理：包括可信度、数据集成、冗余删除、处理冲突值、数据采样、数据清理、缺失值处理、噪声处理

（工具：pig,hive,spark  ; 可用编程语言：python,sas,matlab,scala,java）

4.特征分析，比如是否进行分组和分群处理

5.建立模型

6.输出模型结果

7.评估模型】

4.REFERENCES

• BOOK（相关书籍）:

1.集体智慧编程（programming colletive intelligence）

2.写给程序员的数据挖掘指南

3.数学之美

4.introduction to data mining

5.data mining:concepts and techniques

• MOOCs（慕课）:

Andrew NG(machine learning) ; maching learning foundations;

• DOCs（文档）:

统计学习方法 ；机器学习实战；scikit-learn文档

PRACTICE（数据挖掘比赛）:

Kaggle;SIGKDD

• DEEP LEARNING（深度学习）:

The elenents of statistical learing ；Pattern recognition and machine learning