数据分析(一）

数据分析内容概述

数据分析步骤：

　　1、探索性数据分析：当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。

　　2、模型选定分析，在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。

　　3、推断分析：通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。

数据分析方法：

　　1. 简单数学运算（Simple Math）

　　2.  统计学（Statistics）

　　3. 快速傅里叶变换（FFT）

　　4. 平滑和滤波（Smoothing and Filtering）

          平滑

        1.Laplace 平滑（Add-one）

　　    解决问题：零概率问题，不能因为一个事件没有观察到就武断的认为该事件的概率是0。

          拉普拉斯的理论支撑

　　     为了解决零概率的问题，法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率，所以加法平滑也叫做拉普拉斯平滑。
　　     假定训练样本很大时，每个分量x的计数加1造成的估计概率变化可以忽略不计，但可以方便有效的避免零概率问题。

          应用举例

　　    假设在文本分类中，有3个类，C1、C2、C3，在指定的训练样本中，

            某个词语K1，在各个类中观测计数分别为0，990，10，K1的概率为0，0.99，0.01，

            对这三个量使用拉普拉斯平滑的计算方法如下：
　　     1/1003 = 0.001，991/1003=0.988，11/1003=0.011

             p(x1| c1)是指的:在垃圾邮件c1 这个类别中，单词x1出现的概率。（x1 是待考察的邮件中的某个单词）

             定义符号：

                   n1 ：在所有垃圾邮件中单词x1 出现的次数。如果x1 没有出现过，则n1 = 0。

                   n：属于c1 类的所有文档的出现过的单词总数目。

          得到公式

                   p(x1|c1)= n1 / n

          而拉普拉斯平滑就是将上式修改为：

                   p(x1|c1)= (n1 + 1) / (n + N)

                   p(x2|c1)= (n2 + 1) / (n + N)

                   ......

          其中，N是所有单词的数目。修正分母是为了保证概率和为1。

　      在实际的使用中也经常使用加 lambda（1≥lambda≥0）来代替简单加1。如果对N个计数都加上lambda，这时分母也要记得加上N*lambda

 

　　5. 基线和峰值分析(Baseline and Peak Analysis)