随笔分类 - Data Mining
摘要：数据清理指删除、更正错误、不完整、格式有误或多余的数据。数据清理不仅仅更正错误，同样加强来自各个单独信息系统不同数据间的一致性。本章首先介绍了新闻语料的基本情况及语料构建的相关原则；然后，回顾对比递归遍历与生成器遍历，打造一款高效的文件读取工具；最后，结合正则数据清洗方法完成新闻语料的批量处理。（本文原创，转载标明出处）
阅读全文
摘要：大数据技术与我们日常生活越来越紧密，要做大数据，首要解决数据问题。原始数据存在大量不完整、不一致、有异常的数据，严重影响到数据建模的执行效率，甚至可能导致模型结果的偏差，因此要数据预处。数据预处理主要是将原始数据经过文本抽取、数据清理、数据集成、数据处理、数据变换、数据降维等处理后，不仅提高了数据质量，而且更好的提升算法模型性能。数据预处理在数据挖掘、自然语言处理、机器学习、深度学习算法中起着重要的作用。（本文原创，转载必须注明出处.）
阅读全文
摘要：大数据技术与我们日常生活越来越紧密，要做大数据，首要解决数据问题。原始数据存在大量不完整、不一致、有异常的数据，严重影响到数据建模的执行效率，甚至可能导致模型结果的偏差，因此要数据预处。数据预处理主要是将原始数据经过文本抽取、数据清理、数据集成、数据处理、数据变换、数据降维等处理后，不仅提高了数据质量，而且更好的提升算法模型性能。数据预处理在数据挖掘、自然语言处理、机器学习、深度学习算法中起着重要的作用。（本文原创，转载必须注明出处.）
阅读全文
摘要：Basis(基础)： SSE(Sum of Squared Error, 平方误差和) SAE(Sum of Absolute Error, 绝对误差和) SRE(Sum of Relative Error, 相对误差和) MSE(Mean Squared Error, 均方误差) RMSE(Roo
阅读全文
摘要：正值找工作之际，数据挖掘150道面试题涵盖很多基础知识点，如果你针对求职提前针对性准备，可以以此为为参照检查自己水平，如果你不为求职，也可以针对这些基础佐以巩固，本文来源于36大数据，在此收集整理，旨在技术传播。（本文原创编著，转载注明出处:数据挖掘150道笔试题）
阅读全文
摘要：摘要：写本文的初衷源于基于HMM模型序列标注的一个实验，实验完成之后，迫切想知道采用的序列标注模型的好坏，有哪些指标可以度量。于是，就产生了对这一专题进度学习总结，这样也便于其他人参考，节约大家的时间。本文依旧旨在简明扼要梳理出模型评估核心指标，重点达到实用。本文布局如下：第一章采用统计学习角度介绍什么是学习模型以及如何选择，因为现今的自然语言处理方面大都采用概率统计完成的，事实证明这也比规则的方法好。第二章采用基于数据挖掘的角度探讨模型评估指标和选择。第三章采用统计自然语言处理的方法看看模型评价方法。第四章以R语言为实例，进行实战操作，更深入了解模型的相关问题。（本文原创，转载请注明出处：基于NLP角度的模型评价方法。)
阅读全文
摘要：摘要：写本文的初衷源于基于HMM模型序列标注的一个实验，实验完成之后，迫切想知道采用的序列标注模型的好坏，有哪些指标可以度量。于是，就产生了对这一专题进度学习总结，这样也便于其他人参考，节约大家的时间。本文依旧旨在简明扼要梳理出模型评估核心指标，重点达到实用。本文布局如下：第一章采用统计学习角度介绍什么是学习模型以及如何选择，因为现今的自然语言处理方面大都采用概率统计完成的，事实证明这也比规则的方法好。第二章采用基于数据挖掘的角度探讨模型评估指标和选择。第三章采用统计自然语言处理的方法看看模型评价方法。第四章以R语言为实例，进行实战操作，更深入了解模型的相关问题。（本文原创，转载请注明出处：基于Data Mining角度的模型评估与选择。)
阅读全文
摘要：摘要：写本文的初衷源于基于HMM模型序列标注的一个实验，实验完成之后，迫切想知道采用的序列标注模型的好坏，有哪些指标可以度量。于是，就产生了对这一专题进度学习总结，这样也便于其他人参考，节约大家的时间。本文依旧旨在简明扼要梳理出模型评估核心指标，重点达到实用。本文布局如下：第一章采用统计学习角度介绍什么是学习模型以及如何选择，因为现今的自然语言处理方面大都采用概率统计完成的，事实证明这也比规则的方法好。第二章采用基于数据挖掘的角度探讨模型评估指标和选择。第三章采用统计自然语言处理的方法看看模型评价方法。第四章以R语言为实例，进行实战操作，更深入了解模型的相关问题。（本文原创，转载请注明出处：谈谈学习器模型的评估指标。)
阅读全文
摘要：摘要：本文基于PayPal高级工程总监Anil Madan写的大数据文章，其中涵盖100篇大数据的论文，涵盖大数据技术栈（数据存储层、键值存储、面向列的存储、流式、交互式、实时系统、工具、库等），全部读懂你将会是大数据的顶级高手。作者通过引用Anil Madan原文和CSDN的译文为基础。进行中英对照整理所得。旨在技术传播，分享更多技术爱好者。为尊重原文，本人将原文放置最醒目之处：英文：100 open source Big Data architecture papers for data professionals.中文：PayPal高级工程总监：读完这100篇论文 就能成大数据高手.（本文引用整编所得，转载说明出处：读完这100篇论文 就能成大数据高手.）
阅读全文
摘要：摘要：搜索已经作为生活中不可缺少的一部分，诸如：百度、google、还是在微信上寻找好友或者通过一段文本查找关键字。另外亚马逊、京东、天猫、苏宁等电商在搜索中也是别有洞天（多面搜索等）。对于开发人员，搜索往往是大部分应用的关键功能，特别是对大规模文本数据驱动应用更是如此。另一类搜索像语音智能检索，其采用分类、聚类、神经网络等方法进行模型评估，反馈给用户比较理想的匹配结果，这里需要强调的是其采用评分机制反馈的模糊近似查询结果，与传统精确采用是不一样的。这种结果的反馈评分主要依托正确率和召回率。这里自己构建搜索工具好处在于：灵活性、开发费用低、自己更了解自己的搜索工具、价格当然是免费的啦。本文作者花费大量时间，经过资料收集，研究和实验所得，旨在技术分享。（本文原创，转载需说明出处：自己动手搭建搜索工具。）
阅读全文
摘要：摘要：本文主要针对自然语言处理（NLP）过程中，重要基础部分抽取文本内容的预处理。首先我们要意识到预处理的重要性。在大数据的背景下，越来越多的非结构化半结构化文本。如何从海量文本中抽取我们需要的有价值的知识显得尤为重要。另外文本格式常常不一，诸如：pdf，word，excl，xml，ppt，txt等常见文件类型你或许经过一番周折还是有办法处理的。倘若遇到database，html，邮件，RTF,图像，语音等文件，你是否素手无策了。基于此本文总结Apache Tika内容抽取工具，其强大之处在于可以处理各种文件，另外节约您更多的时间用来做重要的事情。本文第一节采用核心概念讲解第二节知识扩展补充。第三节典型DOME配有源代码第四节参考核心文件和Tika工具的JAR包共享。(本文作者原创，汇编整理所得，转载请注明：Tika常见格式文件抽取内容并做预处理)
阅读全文
摘要：摘要：字符串、字符数组以及其他文本表示的处理库构成大部分文本处理程序的基础。大部分语言都包括基本的处理库，这也是对文本处理或自然语言处理的前期必要工作。典型代表便是分词、词性标注、句子识别等等。本文所介绍的工具主要针对英文分词，对于英文分词工具很多，笔者经比较Apache OpenNLP效率和使用便捷度较好。另外其针对Java开发提供开源的API。开篇简介OpenNLP的情况，随后介绍6种常用模型，最后针对每种模型的使用和Java实现进行总结。部分笔者可能质疑那么中文分词怎么办？随后篇章会单独介绍中科院研究团队基于隐马尔可夫模型开发的中文分词工具NLPIR(ICTCLA)。内容经过多篇文档和书籍整理汇编，代码经运行无误。（本文原创，转载请标明出处：OpenNLP：驾驭文本，分词那些事）
阅读全文
摘要：摘要：自然语言处理或者是文本挖掘以及数据挖掘，近来一直是研究的热点。很多人相想数据挖掘，或者自然语言处理，就有一种莫名的距离感。其实，走进去你会发现它的美，它在现实生活中解决难题的应用之美，跟它相结合的数学之美，还有它与统计学的自然融合。语言只是一种实现工具，真正难度的是模型的理解和对模型的构建。本文结合自然语言处理的基本方法，完成对2002--2010年17套GET真题的核心单词抽取。麻雀虽小，也算五脏俱全，包含整个数据过程，比较简单。中等开发的程序员都可以实现，其中包括数据清洗，停用词处理，分词，词频统计，排序等常用方法。（本文原创，分享供于学习，转载标明出处：【项目总结】自然语言处理在现实生活中运用）
阅读全文
摘要：摘要：领域本体的构建方法是当前本体研究的热点问题之一。但是，目前的领域本体的创建还缺乏系统的、针对所有领域的、工程化的方法。本文介绍了本体的相关理论，和基本构建知识，并结合领域本体一般构建原则，分析了手工建立本体的六种常见本体构建工程思想,归纳总结出了构建领域本体的一般步骤。此外本文还重点分析了现有的领域本体构建方法以它们及存在的问题。其在应用于知识工程、自然语言处理、系统建模、信息处理、数字图书馆、信息检索和语义Web、软件复用、面向对象技术等领域应用较为广泛。（本文照着期刊以及论文整理所得，转载标明出处：http://www.cnblogs.com/baiboy/）
阅读全文
摘要：当前数据挖掘技术使用最为广泛的莫过于文本挖掘领域，包括领域本体构建、短文本实体抽取以及代码的语义级构件方法研究。常用的数据挖掘功能包括分类、聚类、预测和关联四大模型。本文针对四大模型之一的分类进行讨论。分类算法包括回归、决策树、支持向量机、贝叶斯等，显然，不少涉及机器学习的知识（随后会写些机器学习专题）。本文重点介绍贝叶斯分类，涉及朴素贝叶斯模型、二项独立模型、多项模型、混合模型等知识。在本人研究贝叶斯分类过程中，发现很多博客重复现象严重，并且在构建模型过程中存在大量的问题。包括博客园中最受欢迎的几篇，整个模型构造就不符合理论。索性自己重新查阅外文文献，进而得到很大帮助。本文针对几种模型，采用算法概述、算法公式解析、公式推理、优缺点比较等进行总结。（本文原创，转载注明出处。）
阅读全文
