摘要： Basis(基础)： SSE(Sum of Squared Error, 平方误差和) SAE(Sum of Absolute Error, 绝对误差和) SRE(Sum of Relative Error, 相对误差和) MSE(Mean Squared Error, 均方误差) RMSE(Roo 阅读全文

摘要： 摘要：Python自然语言处理在对文本分析显得非常方便好用。本文主要介绍NLTK（Natural language Toolkit）的安装和基本方法使用，以大秦帝国部分章节为语料，文本当做词链表进行操作处理，采用统计的方式深入研究作者用词的讲究；然后在使用NLTK内置方法进行统计操作。最后将部分常用功能进行总结整理。本文是系列首篇，主要介绍入门知识，关于python基础知识，可以参看【Python五篇慢慢弹】系列文章（本文原创编著，转载注明出处:Python NLTK 走进大秦帝国） 阅读全文

摘要： 正值找工作之际，数据挖掘150道面试题涵盖很多基础知识点，如果你针对求职提前针对性准备，可以以此为为参照检查自己水平，如果你不为求职，也可以针对这些基础佐以巩固，本文来源于36大数据，在此收集整理，旨在技术传播。（本文原创编著，转载注明出处:数据挖掘150道笔试题） 阅读全文

摘要： 摘要：继<快速上手学python>一文之后，笔者又将python官方文档认真学习下。官方给出的pythondoc入门资料包含了基本要点。本文是对文档常用核心要点进行梳理，简单冗余知识不再介绍，作者假使你用c/java/c#/c++任一种语言基础。本系列文章属于入门内容，老鸟可以略看也可以略过，新鸟可以从篇一<快速上手学python>先接触下python怎样安装与运行，以及pycharm编辑器的使用和配置；篇二<数据结构看python>介绍python语言中控制语句、列表、字典、元组、循环等基本操作；篇三<函数修行知python>细解python语言函数的范畴与内容；篇四<模块异常谈python>采用登录的案例详解模块来龙去脉；篇五<‘类’过依然继续前行，直至ending再出发>介绍类的基本操作，扩展虚拟环境、标准类库和下个系列预告。（本文原创，转载注明出处：‘类’过依然继续前行，直至ending再出发) 阅读全文

摘要： 摘要：继<快速上手学python>一文之后，笔者又将python官方文档认真学习下。官方给出的pythondoc入门资料包含了基本要点。本文是对文档常用核心要点进行梳理，简单冗余知识不再介绍，作者假使你用c/java/c#/c++任一种语言基础。本系列文章属于入门内容，老鸟可以略看也可以略过，新鸟可以从篇一<快速上手学python>先接触下python怎样安装与运行，以及pycharm编辑器的使用和配置；篇二<数据结构看python>介绍python语言中控制语句、列表、字典、元组、循环等基本操作；篇三<函数修行知python>细解python语言函数的范畴与内容；篇四<模块异常谈python>采用登录的案例详解模块来龙去脉；篇五<‘类’过依然继续前行，直至ending再出发>介绍类的基本操作，扩展虚拟环境、标准类库和下个系列预告。（本文原创，转载注明出处：模块异常谈知python) 阅读全文

摘要： 摘要：继<快速上手学python>一文之后，笔者又将python官方文档认真学习下。官方给出的pythondoc入门资料包含了基本要点。本文是对文档常用核心要点进行梳理，简单冗余知识不再介绍，作者假使你用c/java/c#/c++任一种语言基础。本系列文章属于入门内容，老鸟可以略看也可以略过，新鸟可以从篇一<快速上手学python>先接触下python怎样安装与运行，以及pycharm编辑器的使用和配置；篇二<数据结构看python>介绍python语言中控制语句、列表、字典、元组、循环等基本操作；篇三<函数修行知python>细解python语言函数的范畴与内容；篇四<模块异常谈python>采用登录的案例详解模块来龙去脉；篇五<‘类’过依然继续前行，直至ending再出发>介绍类的基本操作，扩展虚拟环境、标准类库和下个系列预告。（本文原创，转载注明出处：函数修行知python) 阅读全文

摘要： 摘要：继<快速上手学python>一文之后，笔者又将python官方文档认真学习下。官方给出的pythondoc入门资料包含了基本要点。本文是对文档常用核心要点进行梳理，简单冗余知识不再介绍，作者假使你用c/java/c#/c++任一种语言基础。本系列文章属于入门内容，老鸟可以略看也可以略过，新鸟可以从篇一<快速上手学python>先接触下python怎样安装与运行，以及pycharm编辑器的使用和配置；篇二<数据结构看python>介绍python语言中控制语句、列表、字典、元组、循环等基本操作；篇三<函数修行知python>细解python语言函数的范畴与内容；篇四<模块异常谈python>采用登录的案例详解模块来龙去脉；篇五<‘类’过依然继续前行，直至ending再出发>介绍类的基本操作，扩展虚拟环境、标准类库和下个系列预告。（本文原创，转载注明出处：数据结构看python) 阅读全文

摘要： 摘要：GitHub的是版本控制和协作代码托管平台，它可以让你和其他人的项目从任何地方合作。相对于CVS和SVN的联网限制和传速慢有明显的优势。因此，越来越受企业和个人的青睐。github上进行项目管理也是趋势。基于此，笔者十一小假期，花了1天时间学习总结得以此文，旨在节约读者时间，快速掌握。在此，特别感谢廖雪峰官网教程，本文基本其于教程又有所不同，内容进行取舍，外加梳理成文，最后参考资料建议大家阅读。本文布局如下：一是对GIt整体介绍，究其原委；二是Git版本常用控制操作；三是Git与GitHub远程仓库操作；四是搭建私有服务器；五是官网资料引用。（本文原创编著，转载注明出处:GitHub使用操作指南） 阅读全文

摘要： 摘要：python语言俨然不算新技术，七八年前甚至更早已有很多人研习，只是没有现在流行罢了。之所以当下如此盛行，我想肯定是多因素造成了，当然市场需求的重要因素。吴军博士对大数据流行的解释与python流行或许有些默契。数据一直以来都存在，只是在历史条件下，由于计算性能和技术发展的原因，与之匹配的数据处理技术还不是很先进，以至于很多数据被我们舍弃了。同样，python语言简洁流畅等多种优点，也会让第一次接触的编程人员痴迷，只是过去对大数据分析处理，对高效快速开发，多跨平台等市场需求不是那么紧迫。本文笔者从python是什么？做什么？怎么用？编程环境？逐步介绍，中间穿插一些小的例子，旨在初学者快速上手，高效学习。最后一节介绍几个好学的视频和社区博文。（本文原创，转载注明出处：初学编程适合学？其有何用？) 阅读全文

摘要： 摘要：近来自然语言处理行业发展朝气蓬勃，市场应用广泛。笔者学习以来写了不少文章，文章深度层次不一，今天因为某种需要，将文章全部看了一遍做个整理，也可以称之为概述。关于这些问题，博客里面都有详细的文章去介绍，本文只是对其各个部分高度概括梳理。（本文原创，转载注明出处：自然语言处理学习中需要了解的几个问题 ) 阅读全文

摘要： 【摘要】：条件随机场用于序列标注，数据分割等自然语言处理中，表现出很好的效果。在中文分词、中文人名识别和歧义消解等任务中都有应用。本文源于笔者做语句识别序列标注过程中，对条件随机场的了解，逐步研究基于自然语言处理方面的应用。成文主要源于自然语言处理、机器学习、统计学习方法和部分网上资料对CRF介绍的相关的相关，最后进行大量研究整理汇总成体系知识。文章布局如下：第一节介绍CRF相关的基础统计知识；第二节介绍基于自然语言角度的CRF介绍；第三节基于机器学习角度对CRF介绍，第四节基于统计学习角度对相关知识介绍；第五节对统计学习深度介绍CRF，可以作为了解内容。（本文原创，转载请注明出处：条件随机场知识扩展延伸。) 阅读全文

摘要： 【摘要】：条件随机场用于序列标注，数据分割等自然语言处理中，表现出很好的效果。在中文分词、中文人名识别和歧义消解等任务中都有应用。本文源于笔者做语句识别序列标注过程中，对条件随机场的了解，逐步研究基于自然语言处理方面的应用。成文主要源于自然语言处理、机器学习、统计学习方法和部分网上资料对CRF介绍的相关的相关，最后进行大量研究整理汇总成体系知识。文章布局如下：第一节介绍CRF相关的基础统计知识；第二节介绍基于自然语言角度的CRF介绍；第三节基于机器学习角度对CRF介绍，第四节基于统计学习角度对相关知识介绍；第五节对统计学习深度介绍CRF，可以作为了解内容。（本文原创，转载请注明出处：基于统计学习方法角度谈谈CRF。) 阅读全文

摘要： 【摘要】：条件随机场用于序列标注，数据分割等自然语言处理中，表现出很好的效果。在中文分词、中文人名识别和歧义消解等任务中都有应用。本文源于笔者做语句识别序列标注过程中，对条件随机场的了解，逐步研究基于自然语言处理方面的应用。成文主要源于自然语言处理、机器学习、统计学习方法和部分网上资料对CRF介绍的相关的相关，最后进行大量研究整理汇总成体系知识。文章布局如下：第一节介绍CRF相关的基础统计知识；第二节介绍基于自然语言角度的CRF介绍；第三节基于机器学习角度对CRF介绍，第四节基于统计学习角度对相关知识介绍；第五节对统计学习深度介绍CRF，可以作为了解内容。（本文原创，转载请注明出处：基于机器学习角度谈谈CRF。) 阅读全文

摘要： 【摘要】：条件随机场用于序列标注，数据分割等自然语言处理中，表现出很好的效果。在中文分词、中文人名识别和歧义消解等任务中都有应用。本文源于笔者做语句识别序列标注过程中，对条件随机场的了解，逐步研究基于自然语言处理方面的应用。成文主要源于自然语言处理、机器学习、统计学习方法和部分网上资料对CRF介绍的相关的相关，最后进行大量研究整理汇总成体系知识。文章布局如下：第一节介绍CRF相关的基础统计知识；第二节介绍基于自然语言角度的CRF介绍；第三节基于机器学习角度对CRF介绍，第四节基于统计学习角度对相关知识介绍；第五节对统计学习深度介绍CRF，可以作为了解内容。（本文原创，转载请注明出处：基于自然语言处理角度谈谈CRF。) 阅读全文

摘要： 【摘要】：条件随机场用于序列标注，数据分割等自然语言处理中，表现出很好的效果。在中文分词、中文人名识别和歧义消解等任务中都有应用。本文源于笔者做语句识别序列标注过程中，对条件随机场的了解，逐步研究基于自然语言处理方面的应用。成文主要源于自然语言处理、机器学习、统计学习方法和部分网上资料对CRF介绍的相关的相关，最后进行大量研究整理汇总成体系知识。文章布局如下：第一节介绍CRF相关的基础统计知识；第二节介绍基于自然语言角度的CRF介绍；第三节基于机器学习角度对CRF介绍，第四节基于统计学习角度对相关知识介绍；第五节对统计学习深度介绍CRF，可以作为了解内容。（本文原创，转载请注明出处：漫步条件随机场系列文章。) 阅读全文

摘要： 摘要：大数据发展的基石就是数据量的指数增加，无论是数据挖掘、文本处理、自然语言处理还是机器模型的构建，大多都是基于一定量的数据，数据规模达到一定程度，采用基于规则方法或者概率统计学的方法进行模型构建，感兴趣知识的获取才更有意义。那么，是不是数据足够大就是大数据了？是不是数据足够多就构成语料库了？往往一个模型好坏跟训练数据或者检验数据的语料库息息相关。本文笔者带你走进语料库的世界，在随后模型构建过程避免一些语料注意事项，大大提升模型效率。（本文原创，转载请注明出处：大数据之行，始于足下：谈谈语料库知多少。) 阅读全文

摘要： 摘要：写本文的初衷源于基于HMM模型序列标注的一个实验，实验完成之后，迫切想知道采用的序列标注模型的好坏，有哪些指标可以度量。于是，就产生了对这一专题进度学习总结，这样也便于其他人参考，节约大家的时间。本文依旧旨在简明扼要梳理出模型评估核心指标，重点达到实用。本文布局如下：第一章采用统计学习角度介绍什么是学习模型以及如何选择，因为现今的自然语言处理方面大都采用概率统计完成的，事实证明这也比规则的方法好。第二章采用基于数据挖掘的角度探讨模型评估指标和选择。第三章采用统计自然语言处理的方法看看模型评价方法。第四章以R语言为实例，进行实战操作，更深入了解模型的相关问题。（本文原创，转载请注明出处：基于NLP角度的模型评价方法。) 阅读全文

摘要： 摘要：写本文的初衷源于基于HMM模型序列标注的一个实验，实验完成之后，迫切想知道采用的序列标注模型的好坏，有哪些指标可以度量。于是，就产生了对这一专题进度学习总结，这样也便于其他人参考，节约大家的时间。本文依旧旨在简明扼要梳理出模型评估核心指标，重点达到实用。本文布局如下：第一章采用统计学习角度介绍什么是学习模型以及如何选择，因为现今的自然语言处理方面大都采用概率统计完成的，事实证明这也比规则的方法好。第二章采用基于数据挖掘的角度探讨模型评估指标和选择。第三章采用统计自然语言处理的方法看看模型评价方法。第四章以R语言为实例，进行实战操作，更深入了解模型的相关问题。（本文原创，转载请注明出处：基于Data Mining角度的模型评估与选择。) 阅读全文

摘要： 摘要：写本文的初衷源于基于HMM模型序列标注的一个实验，实验完成之后，迫切想知道采用的序列标注模型的好坏，有哪些指标可以度量。于是，就产生了对这一专题进度学习总结，这样也便于其他人参考，节约大家的时间。本文依旧旨在简明扼要梳理出模型评估核心指标，重点达到实用。本文布局如下：第一章采用统计学习角度介绍什么是学习模型以及如何选择，因为现今的自然语言处理方面大都采用概率统计完成的，事实证明这也比规则的方法好。第二章采用基于数据挖掘的角度探讨模型评估指标和选择。第三章采用统计自然语言处理的方法看看模型评价方法。第四章以R语言为实例，进行实战操作，更深入了解模型的相关问题。（本文原创，转载请注明出处：谈谈学习器模型的评估指标。) 阅读全文

摘要： 摘要：最早接触马尔可夫模型的定义源于吴军先生《数学之美》一书，起初觉得深奥难懂且无什么用场。直到学习自然语言处理时，才真正使用到隐马尔可夫模型，并体会到此模型的妙用之处。马尔可夫模型在处理序列分类时具体强大的功能，诸如解决：词类标注、语音识别、句子切分、字素音位转换、局部句法剖析、语块分析、命名实体识别、信息抽取等。另外广泛应用于自然科学、工程技术、生物科技、公用事业、信道编码等多个领域。本文写作思路如下：第一篇对马尔可夫个人简介和马尔科夫链的介绍；第二篇介绍马尔可夫链（显马尔可夫模型）和隐马尔可夫模型以及隐马尔可夫模型的三大问题（似然度、编码、参数学习）；第三至五篇逐一介绍三大问题相关算法：（向前算法、维特比算法、向前向后算法）；最后非常得益于冯志伟先生自然语言处理教程一书，冯老研究自然语言几十余载，在此领域别有建树。（本文原创，转载注明出处：向前向后算法解决隐马尔可夫模型机器学习问题 ) 阅读全文