摘要：
发表于2009年05月14号由52nlp自然语言处理：最大熵和对数线性模型Natural Language Processing: Maximum Entropy and Log-linear Models作者：Regina Barzilay（MIT,EECS Department, October 1, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年5月14日）三、 最大熵模型详述g) GIS算法（Generative Iterative Scaling） i. 背景： 最原始的最大熵模型的训练方法是一种称为通用迭代算法GIS (generalized iterat. 阅读全文
摘要：
发表于2009年05月9号由52nlp自然语言处理：最大熵和对数线性模型Natural Language Processing: Maximum Entropy and Log-linear Models作者：Regina Barzilay（MIT,EECS Department, October 1, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年5月9日）三、 最大熵模型详述c) 相对熵（Kullback-Liebler距离）（Relative Entropy (Kullback-Liebler Distance)） i. 定义（Definition）：两个概率分布 阅读全文
摘要：
发表于2009年05月5号由52nlp自然语言处理：最大熵和对数线性模型Natural Language Processing: Maximum Entropy and Log-linear Models作者：Regina Barzilay（MIT,EECS Department, October 1, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年5月5日）二、 最大熵（Maximum Entropy）：b) 最大熵模型(Maximum Entropy Modeling) iii. 约束条件（Constraint）： 每个特征的观察样本期望值与特征模型期望值相一致（. 阅读全文
摘要：
发表于2009年04月29号由52nlp自然语言处理：最大熵和对数线性模型Natural Language Processing: Maximum Entropy and Log-linear Models作者：Regina Barzilay（MIT,EECS Department, October 1, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年4月29日）一、 词性标注（POS tagging）：c) 特征向量表示（Feature Vector Representation） i. 一个特征就是一个函数f（A feature is a function f ）： 阅读全文
摘要：
发表于2009年04月25号由52nlp自然语言处理：最大熵和对数线性模型Natural Language Processing: Maximum Entropy and Log-linear Models作者：Regina Barzilay（MIT,EECS Department, October 1, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年4月25日）上一讲主要内容回顾（Last time）：* 基于转换的标注器（Transformation-based tagger）* 基于隐马尔科夫模型的标注器（HMM-based tagger）遗留的内容（Leftov 阅读全文
摘要：
MIT自然语言处理第四讲：标注（第四部分）发表于2009年03月26号由52nlp自然语言处理：标注Natural Language Processing: Tagging作者：Regina Barzilay（MIT,EECS Department, November 15, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年3月26日）三、 马尔科夫模型（Markov Model）g) 有效标注（Efficient Tagging） i. 对于一个单词序列，如何寻找最可能的标记序列（How to find the most likely a sequence of tag 阅读全文
摘要：
MIT自然语言处理第四讲：标注（第三部分）发表于2009年03月24号由52nlp自然语言处理：标注Natural Language Processing: Tagging作者：Regina Barzilay（MIT,EECS Department, November 15, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年3月24日）三、 马尔科夫模型（Markov Model）a) 直观（Intuition）：对于序列中的每个单词挑选最可能的标记（Pick the most likely tag for each word of a sequence） i. 我们将对 阅读全文
摘要：
MIT自然语言处理第四讲：标注（第二部分）发表于2009年03月7号由52nlp自然语言处理：标注Natural Language Processing: Tagging作者：Regina Barzilay（MIT,EECS Department, November 15, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年3月7日）学习标注（Learning to Tag） * 基于转换的学习（Transformation-based Learning） * 隐马尔科夫标注器（Hidden Markov Model Taggers） * 对数线性模型（Log-linear 阅读全文
摘要：
MIT自然语言处理第四讲：标注（第一部分）发表于2009年02月24号由52nlp自然语言处理：标注Natural Language Processing: Tagging作者：Regina Barzilay（MIT,EECS Department, November 15, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年2月24日）上一讲主要内容回顾（Last time） 语言模型(Language modeling): n-gram模型（n-gram models） 语言模型评测（LM evaluation） 平滑(Smoothing): 打折（Discoun... 阅读全文
摘要：
MIT自然语言处理第三讲：概率语言模型（第六部分）发表于2009年02月16号由52nlp自然语言处理：概率语言模型Natural Language Processing: Probabilistic Language Modeling作者：Regina Barzilay（MIT,EECS Department, November 15, 2004)译者：我爱自然语言处理（www.52nlp.cn ，2009年2月16日）六、 插值及回退a) The Bias-Variance Trade-Off i. 未平滑的三元模型估计(Unsmoothed trigram estimate)： ... 阅读全文
摘要：
MIT自然语言处理第三讲：概率语言模型（第五部分）发表于2009年02月11号由52nlp自然语言处理：概率语言模型Natural Language Processing: Probabilistic Language Modeling作者：Regina Barzilay（MIT,EECS Department, November 15, 2004)译者：我爱自然语言处理（www.52nlp.cn ，2009年2月10日）五、 Good-Turing打折法（Good-Turing Discounting）a) 你在将来看到一个新词的可能性有多大？用所看到的事件去估计未知事件的概率（How li 阅读全文
摘要：
MIT自然语言处理第三讲：概率语言模型（第四部分）发表于2009年01月20号由52nlp自然语言处理：概率语言模型Natural Language Processing: Probabilistic Language Modeling作者：Regina Barzilay（MIT,EECS Department, November 15, 2004)译者：我爱自然语言处理（www.52nlp.cn ，2009年1月20日）四、 平滑算法a) 最大似然估计（Maximum Likelihood Estimate） i. MLE使训练数据尽可能的“大”（MLE makes training dat 阅读全文
摘要：
MIT自然语言处理第三讲：概率语言模型（第三部分）发表于2009年01月18号由52nlp自然语言处理：概率语言模型Natural Language Processing: Probabilistic Language Modeling作者：Regina Barzilay（MIT,EECS Department, November 15, 2004)译者：我爱自然语言处理（www.52nlp.cn ，2009年1月18日）三、 语言模型的评估a) 评估一个语言模型（Evaluating a Language Model） i. 我们有n个测试单词串（We have n test string） 阅读全文
摘要：
MIT自然语言处理第三讲：概率语言模型（第二部分）发表于2009年01月17号由52nlp自然语言处理：概率语言模型Natural Language Processing: Probabilistic Language Modeling作者：Regina Barzilay（MIT,EECS Department, November 15, 2004)译者：我爱自然语言处理（www.52nlp.cn ，2009年1月17日）二、语言模型构造a) 语言模型问题提出（The Language Modeling Problem） i. 始于一些词汇集合（Start with some vocabula 阅读全文
摘要：
MIT自然语言处理第三讲：概率语言模型（第一部分）发表于2009年01月16号由52nlp自然语言处理：概率语言模型Natural Language Processing: Probabilistic Language Modeling作者：Regina Barzilay（MIT,EECS Department, November 15, 2004)译者：我爱自然语言处理（www.52nlp.cn ，2009年1月16日）上一讲主要内容回顾（Last time） 语料库处理（Corpora processing） 齐夫定律（Zipf’s law） 数据稀疏问题（Data sparsene... 阅读全文
摘要：
MIT自然语言处理第二讲：单词计数（第四部分）发表于2009年01月11号由52nlp自然语言处理：单词计数Natural Language Processing: (Simple) Word Counting作者：Regina Barzilay（MIT,EECS Department, November 15, 2004)译者：我爱自然语言处理（www.52nlp.cn ，2009年1月11日）四、 分词相关a) Tokenization i. 目标（Goal）：将文本切分成单词序列（divide text into a sequence of words） ii. 单词指的是一串连续的字母 阅读全文
摘要：
MIT自然语言处理第二讲：单词计数（第三部分）发表于2009年01月10号由52nlp自然语言处理：单词计数Natural Language Processing: (Simple) Word Counting作者：Regina Barzilay（MIT,EECS Department, November 15, 2004)译者：我爱自然语言处理（www.52nlp.cn ，2009年1月10日）三、 语料库相关a) 数据稀疏问题（Sparsity） i. “kick”在一百万单词中出现的次数（How often does “kick” occur in 1M words）?——58 ii. 阅读全文
摘要：
MIT自然语言处理第二讲：单词计数（第二部分）发表于2009年01月9号由52nlp自然语言处理：单词计数Natural Language Processing: (Simple) Word Counting作者：Regina Barzilay（MIT,EECS Department, November 15, 2004)译者：我爱自然语言处理（www.52nlp.cn ，2009年1月9日）二、 齐夫定律(Zipf’s Law)a) 在任何一个自然语言里第n个最常用的单词的频率与n近似成反比（The frequency of use of the nth-most-frequently-us 阅读全文
摘要：
MIT自然语言处理第二讲：单词计数（第一部分）发表于2009年01月8号由52nlp自然语言处理：单词计数Natural Language Processing: (Simple) Word Counting作者：Regina Barzilay（MIT,EECS Department, November 15, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年1月8日）这一讲主要内容（Today):1、语料库及其性质（Corpora and its properties）；2、Zipf 法则( Zipf’s Law )；3、标注语料库例子（Examples of anno 阅读全文
摘要：
MIT自然语言处理第一讲：简介和概述（第三部分）发表于2009年01月5号由52nlp自然语言处理：背景和概述Natural Language Processing:Background and Overview作者：Regina Barzilay（MIT,EECS Department,September 8, 2004)译者：我爱自然语言处理（www.52nlp.cn，2009年1月5日）四、 这门课程将包含哪些内容（What will this course be about）?1、 对不同层次（句法、语义、篇章）的语言知识建立合适的计算模型和有效的表达方式（Computationall 阅读全文