随笔分类 -  自然语言处理

摘要:What Is a Subordinate Clause? (with Examples)A subordinate clause (or dependent clause) is a clause that cannot stand alone as a complete sentence bec... 阅读全文
posted @ 2016-01-21 11:57 MindProbe 阅读(1643) 评论(0) 推荐(0) 编辑
摘要:搞NLP的人经常会听到一个神秘的名字LDC,因为大量的论文所使用的数据都来自于LDC,本文就来揭露其神秘面目。 About LDC: LDC,全名Linguistic Data Consortium,是一个由大学、图书馆、企业、政府、研究机构共同合办的联合企业,成立于1992年,目前由宾夕法尼亚大学 阅读全文
posted @ 2015-01-06 14:56 MindProbe 阅读(6032) 评论(4) 推荐(1) 编辑
摘要:NLP中常用的PTB语料库,全名Penn Treebank。Penn Treebank是一个项目的名称,项目目的是对语料进行标注,标注内容包括词性标注以及句法分析。语料来源为:1989年华尔街日报语料规模:1M words,2499篇文章语料价格:1500 ~ 1700$Penn Treebank委... 阅读全文
posted @ 2014-12-16 22:31 MindProbe 阅读(7529) 评论(1) 推荐(0) 编辑
摘要:训练n-gram语言模型ngram-count -text train.txt -order 5 -lm model -kndiscount -interpolate -gt3min 1 -gt4min 1计算生成PPLngram -lm model -order 5 -ppl test.txt -... 阅读全文
posted @ 2014-12-07 14:06 MindProbe 阅读(1426) 评论(0) 推荐(0) 编辑