类模型NLP 学习笔记 05 (Brown Clustering && Global Linear Models)
时间紧张,先记一笔,后续化优与完善。
=================================================================
== all is based on the open course nlp on coursera.org week 9,week 10 lecture ==
=================================================================
这是nlp课程最后两周的内容了,觉感机器习学和nlp等方向长短常想通的,判若两人!下一步大概会系统地看大部头和paper,强增码编实现能力!
第十周的内容主要是GLMs分别在tagging和 Parsing面上的应用,我就不罗嗦了
1.Brown Clustering
1.1 Introduction
1.2 Formulation
假设我们在现有一个类分器,可以把每一个词分配到一个类面里,一共有k个类:
整个模型如下:
w1……wn是一条语料的词,w0是一个殊特的开始符号
e,q和我们之前习学的是一样的,不过是从汇词换成了类分而已
1.3 The Brown Clustering
我们在现来看整个布朗类分的模型:
可以看到最要重的货色就是类分器C,怎么量衡C的坏好呢:
其中:G是一个常数
其中:n()是在类分器C的基本下的计数的函数,计统类分在语料库中现出的数次,和之前的count似类
如何失掉C呢,课程绍介了两种法方:
法方1.
一开始我们把每一个词独自分配到一个类中,假设有|V|=n个,记着我们的目标是找到k个类分
我们停止n-k次并合,每次把两个类并合到一同,每次并合贪地心选择能最大度程加增Quality(C)的两个类
这个naive算法的复杂度是多少呢?(n-k)*n*n*n^2,大概是O(N^5),即使是能化优到三次方复杂度,对于太大的 |V| 仍然很不事实
法方2.
2. Global Linear Models (GLMs)
2.1 Introduction
2.2 Features
2.3 Together
2.4 the Perceptron Algorithm
文章结束给大家分享下程序员的一些笑话语录:
问答
Q:你是怎么区分一个内向的程序员和一个外向的程序员的? A:外向的程序员会看着你的鞋和你说话时。
Q:为什么程序员不能区分万圣节和圣诞节? A:这是因为 Oct 31 == Dec 25!(八进制的 31==十进制的 25)