文本挖掘的基本过程

• 众所周知，由于缺乏意识和缺乏技术的能力，很多组织的数据都在睡大觉。数据包含这关于客户、伙伴和竞争对手的相关信息，对其进行挖掘，可以提高组织竞争力
• 在数据洪流（data deluge）面前，文本挖掘的价值是不言而喻的。因为它能够帮助我们减轻信息过载的问题。
• 什么是文本挖掘
• 从文本数据中获取新发现的过程
• 文本挖掘也是一个非结构到结构化的过程。它是多方技术的一个综合。
• 文本挖掘的框架
• 文本数据源的获取，比如电子文档
• 数据预处理，将数据进行整合
• 文本清理
• 常用方法有
• 停词去除
• 词干提取
• 词切分（Tokenization ）
• 词性标注（POS tagging）
• 句法解析（Syntactial Parsing）
• 句法主要分为组成语法和相关语法两类
• 信息提取，基于预定义的序列进行信息提取
• 主题追踪，寻找用户喜欢的主题
• 摘要（Summarization）
• 句子提取
• 权重式
• 位置式
• 分类（Categorization）
• 将文本放入预定的分类
• 单词出现的概率，特定领域的字典
• 特征选择
• 降低维度
• 实体提取（Entity Extraction）
• 概念提取
• 重要的概念
• 主题提取
• 主题就是文章的主要思想
• 重要单词和短语
• 聚类
• 知识发现
• 概念共现的模式
• 分布和比例
• 频率
• 关联
• 可视化
• 动态显示
• 和领域知识进行结合