01 2015 档案
摘要：老套的搬用一下rsync的介绍，rsync是Linux系统下的数据镜像备份工具，从软件的命名上就可以看出来了——remote sync。rsync支持大多数的类Unix系统，无论是Linux、Solaris还是BSD上都经过了良好的测试。它的特性如下：1、可以镜像保存整个目录树和文件系统。2、可以很...
阅读全文
摘要：http://www.hankcs.com/nlp/parsing/crf-sequence-annotation-chinese-dependency-parser-implementation-based-on-java.html这是一个基于CRF的中文依存句法分析器，内部CRF模型的特征函数采...
阅读全文
摘要：算法+语料≈NLP这是一个六千万词汇量的分类词库，做HanLP这么久，我逐渐体会到，算法无法解决所有问题，词库也非常重要。通常一个算法可以解决80%的问题，剩下的20%无论怎么调节优化，都是拆东墙补西墙。比如上次我提到的“区人保”被HMM人名识别模块误命中的例子，这个词让HMM来看，“区”作为姓氏，...
阅读全文
摘要：http://www.hankcs.com/nlp/ner/place-names-to-identify-actual-hmm-viterbi-role-labeling.html命名实体识别（Named Entity Recognition）也是自然语言处理中的一个难关，特别是中文这样没有大小写...
阅读全文
摘要：与基于隐马尔可夫模型的最短路径分词、N-最短路径分词相比，基于随机条件场（CRF）的分词对未登录词有更好的支持。本文（HanLP）使用纯Java实现CRF模型的读取与维特比后向解码，内部特征函数采用双数组Trie树(DoubleArrayTrie)储存，得到了一个高性能的中文分词器。CRF简介CRF...
阅读全文
摘要：http://www.hankcs.com/nlp/part-of-speech-tagging.html词性标注（Part-of-Speech tagging 或POS tagging)，又称词类标注或者简称标注，是指为分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词、形容...
阅读全文
摘要：http://www.hankcs.com/nlp/hmm-and-segmentation-tagging-named-entity-recognition.htmlHMM（隐马尔可夫模型）是用来描述隐含未知参数的统计模型，举一个经典的例子：一个东京的朋友每天根据天气{下雨，天晴}决定当天的活动{...
阅读全文
摘要：为什么要用转义字符串？HTML中，&等有特殊含义（，用于链接签，&用于转义），不能直接使用。这些符号是不显示在我们最终看到的网页里的，那如果我们希望在网页中显示这些符号，该怎么办呢？这就要说到HTML转义字符串（Escape Sequence）了。转义字符串（Escape Sequence）也称字符...
阅读全文
摘要：正则表达式用于字符串处理、表单验证等场合，实用高效。现将一些常用的表达式收集于此，以备不时之需。用户名：/^[a-z0-9_-]{3,16}$/密码：/^[a-z0-9_-]{6,18}$/十六进制值：/^#?([a-f0-9]{6}|[a-f0-9]{3})$/电子邮箱：/^([a-z0-9_\....
阅读全文
摘要：http://blog.csdn.net/lsldd/article/details/41223147从这一章开始进入正式的算法学习。首先我们学习经典而有效的分类算法：决策树分类算法。1、决策树算法决策树用树形结构对样本的属性进行分类，是最直观的分类算法，而且也可以用于回归。不过对于一些特殊的逻辑分...
阅读全文
摘要：http://www.52ml.net/15539.html2014年05月25日⁄ 字号小中大所谓学习问题，是指观察由n个样本组成的集合，并根据这些数据来预测未知数据的性质。学习任务（一个二分类问题）：区分一个普通的互联网检索Query是否具有某个垂直领域的意图。假设现在有一个O2O领域的垂直搜索...
阅读全文
摘要：http://www.cnblogs.com/xupeizhi/p/3207976.html#2896469如何成为python高手本文是从How to become a proficient Python programmer这篇文章翻译而来。这篇文章主要是对我收集的一些文章的摘要。因为已经有很多...
阅读全文
摘要：MLsklearn快速入门申明：该系列博客是学习 sklearn 的笔记，内容将涵盖大部分机器学习的方法。本人微博@迅猛龙Daniel，能力有限，存在任何问题，希望共同交流。该博客采用马克飞象专业版编写，感谢开发者@GGock。环境：ubuntu 12.04, 64 bitspython 2.7sk...
阅读全文
摘要：http://www.csdn.net/article/2012-12-28/2813275-Support-Vector-Machine摘要：支持向量机（SVM）已经成为一种非常受欢迎的算法。本文主要阐述了SVM是如何进行工作的，同时也给出了使用Python Scikits库的几个示例。SVM作为...
阅读全文
摘要：http://blog.csdn.net/abcjennifer/article/details/23615947文本挖掘的paper没找到统一的benchmark，只好自己跑程序，走过路过的前辈如果知道20newsgroups或者其它好用的公共数据集的分类（最好要所有类分类结果，全部或取部分特征无...
阅读全文
摘要：http://cloga.info/2014/01/19/sklearn_text_feature_extraction/文本特征提取词袋（Bag of Words）表征文本分析是机器学习算法的主要应用领域。但是，文本分析的原始数据无法直接丢给算法，这些原始数据是一组符号，因为大多数算法期望的输入是...
阅读全文
摘要：http://www.52nlp.cn/%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E5%85%A5%E9%97%A8%E4%B9%8B%E5%AD%97%E6%A0%87%E6%B3%A8%E6%B3%954上一节主要介绍的是利用最大熵工具包来做字标注中文分词，这一节...
阅读全文
摘要：http://blog.csdn.net/marising/article/details/5769653前段时间写了中文分词的一些记录里面提到了CRF的分词方法，近段时间又研究了一下，特把方法写下来，以备忘，另外，李沫南同学优化过CRF++，见：http://www.coreseek.cn/ope...
阅读全文
摘要：http://biancheng.dnbcw.info/java/341268.htmlCRF简介ConditionalRandomField：条件随机场，一种机器学习技术（模型）CRF由John Lafferty最早用于NLP技术领域，其在NLP技术领域中主要用于文本标注，并有多种应用场景，例如：...
阅读全文
摘要：http://langiner.blog.51cto.com/1989264/379166原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。否则将追究法律责任。http://langiner.blog.51cto.com/1989264/379166条件随机场 (CRF...
阅读全文
摘要：http://blog.csdn.net/heavendai/article/details/70301021.首先来说一下马尔科夫链。一个事件序列发生的概率可以用下面的概率论里面的乘法公式展开P(w1,w2,…wn) = P(w1)P(w2|w1)P(w3| w1 w2)…P(wn|w1 w2…w...
阅读全文
摘要：http://blog.csdn.net/heavendai/article/details/72285241. 简述 最近要应用CRF模型，进行序列识别。选用了CRF++工具包，具体来说是在VS2008的C#环境下，使用CRF++的windows版本。本文总结一下了解到的和CRF++工具包相关的信...
阅读全文
摘要：http://blog.csdn.net/heavendai/article/details/7228621CRF(Conditional Random Field) 条件随机场是近几年自然语言处理领域常用的算法之一，常用于句法分析、命名实体识别、词性标注等。在我看来，CRF就像一个反向的隐马尔可夫...
阅读全文
摘要：http://blog.sina.com.cn/s/blog_605f5b4f010109z3.html首先，CRF，HMM(隐马模型)，MEMM(最大熵隐马模型)都常用来做序列标注的建模，像词性标注，True casing。但隐马模型一个最大的缺点就是由于其输出独立性假设，导致其不能考虑上下文的特...
阅读全文
