Linguistic Data Consortium (LDC)

搞NLP的人经常会听到一个神秘的名字LDC，因为大量的论文所使用的数据都来自于LDC，本文就来揭露其神秘面目。

 

About LDC：

LDC，全名Linguistic Data Consortium，是一个由大学、图书馆、企业、政府、研究机构共同合办的联合企业。
成立于1992年，目前由宾夕法尼亚大学主要运营。
LDC最初的角色只是保存与分发科研要用到的语言数据，后来有钱了，就也自己收集、自己构建一些数据，渐渐发展成现在的规模：拥有非常多的语言数据资源，成为主要的科研语言资源管理分发机构。
现在每年LDC大概新增30~36个语料。

 

Join LDC:

任何机构交钱就可以加入LDC，加入后就成为了LDC的会员，购买语料可以享受会员价（对于很多语料来说就是免费，主要是老版本语料）。
以PTB语料为例，会员价0，非会员价1700刀。
那么会员价是多少呢？

对于非盈利机构，价格2400刀/年
对于盈利性机构，价格24000刀/年

在会员期间获取的数据即使不是会员了也可以永久使用（但是盈利性机构不知道是不是这样……网站上写的很模糊）。
想要把数据拷贝给别人也是要单独交钱的，不过会员依旧有优惠。

 

Data：

LDC的语料还是很丰富的，中英日法阿拉伯，各种语言，各种语料，五花八门，不过也都真心贵啊= =

浏览全部语料：https://catalog.ldc.upenn.edu/byyear

 

Data Scholarships：

LDC给穷学生提供了免费申请数据的机会……
申请人需要满足两个条件：

1、是在校本科生或研究生（没有博士？还是说graduate student包含了博士？），而且所在学校没有买LDC的数据。
2、本人有很好的研究计划而且是真穷……支付不起那个数据费用。

申请人要提交申请说明自己要哪个数据、做什么研究、成功几率有多大，此外，还要申请人的导师或系主任提供证实。

一年有两个申请期，春秋各一次。

 

----

 

下面开始个人吐槽：

黑……真TM黑……
不过想想visual studio要上千刀，matlab要上千刀……我真有点怀疑要多有钱才能搞学术……

 

ref:

https://www.ldc.upenn.edu/about/ldc-overview

LDC语料下载：https://catalog.ldc.upenn.edu/LDC2013T11