随笔分类 - 自然语言处理
摘要:What Is a Subordinate Clause? (with Examples)A subordinate clause (or dependent clause) is a clause that cannot stand alone as a complete sentence bec...
阅读全文
摘要:搞NLP的人经常会听到一个神秘的名字LDC,因为大量的论文所使用的数据都来自于LDC,本文就来揭露其神秘面目。 About LDC: LDC,全名Linguistic Data Consortium,是一个由大学、图书馆、企业、政府、研究机构共同合办的联合企业,成立于1992年,目前由宾夕法尼亚大学
阅读全文
摘要:NLP中常用的PTB语料库,全名Penn Treebank。Penn Treebank是一个项目的名称,项目目的是对语料进行标注,标注内容包括词性标注以及句法分析。语料来源为:1989年华尔街日报语料规模:1M words,2499篇文章语料价格:1500 ~ 1700$Penn Treebank委...
阅读全文
摘要:训练n-gram语言模型ngram-count -text train.txt -order 5 -lm model -kndiscount -interpolate -gt3min 1 -gt4min 1计算生成PPLngram -lm model -order 5 -ppl test.txt -...
阅读全文