最近用使开发的过程中出现了一个小问题,顺便记录一下原因和法方--模型参数
==============================================================
== all is based on the open course nlp on coursera.org week 7,week 8 lecture ==
================================================================
1.The Language Modeling Problem
当初抛开我们之前讲的马尔科夫模型的假设,对于一门言语的义定,定肯不能单简依赖于个每单词的前两个单词,这是知识。比如英语中的动词态形就和主语有关。那么我会怎么斟酌一个言语模型呢,很多是面上这样一个情况:
我们之前讲的Trigram模型也可以用这样的情势来表现:
那么我们要用我们加增的一些义定,一种naive的法方就是选取一些参数来成生模型:
可以象想,这是很难驾御的。但是我们可以用这样的模型来理论上地表现一些例子。
而面上要讲的Log-Liner Model以可就入加这些信息,并使其可作操。
2.Log-linear models
2.1 Define
我们首先用对Language Model的描述来引入log-linear model,Log-linear model际实上是可以引入到很多问题里头的。
这里我先作如下义定:
然后我们义定feature(参数),一个参数就是一个函数,把x,y映射到一个体具的值
一般来讲,我们设定一个参值数选择为binary的值,要么为1,要么为0
然后假设我们有m个不同的参数,对于一组(x,y),我们就有一个长度为m的参值数向量:
比如在language model中我们有这样一系列的参数:
在际实中,这些参数的数量是非常多的,为了便方,我们常经常使用便简的方法来表现一些类似的参数:
其中N(u,v,w)把每一组u,v,w映射为一个不同的整数,这一组参数的数量就是不同u,v,w的数量,其实这也就是trigram model的义定,只不过我们用另一种方法表达出来而已。
2.2 Result
这样我们就失掉了一组m个参数,同时我们再义定一个长度为m的向量v,然后我们以可就把(x,y)映射为一个“score”(得分)了:
其实就是数学中的向量的点乘。
2.3 Further Define
我们接下来再进一步用log-linear model来表现我们的Language model:
我们有一个X是input空间,Y是一个无限的词语空间,我们使:
这就是我们的log-linear模型下的言语模型了,意注e的指数其实就是我们面上所说的"score"
为什么叫log linear 模型呢?我们对双方取log看一下:
一览无余了是吧
2.4 for other problem
除了Language Model,log liner的法方还可以用到其他问题上,比如说tagging problem(这个问题的描述在之前的日记有讲:点击打开)
我们要做的是从新计设feature函数,以及转变一下 history的的义定(也就是面上的x),面上我们是使x=w1,w2…wi-1
在tagging problem中我们使:
这样就是 tagging problem 的log linear模型了,所以说log linear可以应用于比较广的围范。面上我们会细详讲 Tagging Problem中的log-linear model
3.Maximum-Likelihood Estimation for Log-liner Model
3.1 introduction
面上分析下怎么从练训数据中失掉参数,选择的法方叫做ML(大最似然估计)
我们有的就是一系列的x和y
首先选择v:
其中L(v)为:
它叫做似然函数。
有了似然函数,我们以可就选择一种叫做Gradient Ascent的法方,也就是求使L函数大最的v
这个其实就是梯度回升,就是在L上对v求导,失掉梯度,然后一步步用梯度趋近大最值(这其实和梯度下落是相似的,体具可以见这里的分部容内)
然后我们每次迭代使v加上 (β乘以这个导数),β是学习时选择的参数,叫做学习速率。
每日一道理
站在历史的海岸漫溯那一道道历史沟渠:楚大夫沉吟泽畔,九死不悔;魏武帝扬鞭东指,壮心不已;陶渊明悠然南山,饮酒采菊……他们选择了永恒,纵然谄媚诬蔑视听,也不随其流扬其波,这是执著的选择;纵然马革裹尸,魂归狼烟,也要仰天长笑,这是豪壮的选择;纵然一身清苦,终日难饱,也愿怡然自乐,躬耕陇亩,这是高雅的选择。在一番选择中,帝王将相成其盖世伟业,贤士迁客成其千古文章。
3.2 Regularization
如果L只是单简地面上那种情势,法算很可能会过合拟,一些v会成变非常大来更好地增大似然函数,但种这增大是畸形的,叫做overfitting
处理的法方很多,最单简的一种就是入加regularization的分部,也就是:
这样的话如果v过大就会导致penalty
那么:
########面上的课程绝对细讲了log linear model对于Tagging和Parse问题的案方,我选单简的写一个=========
########其实模型都是相似的===============================================================
4、Log-Linear Models for History-based Parsing
4.1回想下Log-Linear Taggers
好吧,这段我懒了,没有写log linera tagger的容内,所以在这充补总结一下,其实也不是很杂复
大概就是这样的一个模型,可以看出其实就是2.4的容内。
4.2 History-Based Models
有了tag后以,我们可能还会有需求去求的一个parse,也就是法语树,一步步来。
假设我们可以将一颗树表现为一系列的decisions,假设为m个,我们有:
意注这里的m一不定是句子的长度,我们可以做很多decision来表现句子树的结构
然后我们义定:
表现这个句子
那么对于一棵树的probability就是:
Over------就这么单简,关键是我们要怎么来计设我们的decision
意注和4.1比对一下,我们如果把decision换成tag的容内,就成变了Tagger的问题
4.3Ratnaparkhi's Parser:
再继承我们的容内之前,先放一个例子在这,好继承描述:
面上重要讲的是一个叫做Ratnaparkhi的人的model,好吧,又是一个90后的model……
他的模型重要分三层:
1. Part-of-speech tags
这分部就是单简的tag的model,个每decision就是一个tag的选择
2. Chunks
Chunks其实就是短语分部的模型:
也就是面上那一排tag,其正式点的义定就是:有所儿子都是
Part-of-speech tags的节点
如何表现它的decision呢?我们用SART和JOIN来表现
一览无余?再加上第一层的模型,当初我们的decision已经有2*n个了:
3. Remaining structure
Remaining structure,我们看一下这颗tree还有什么remaining了呢?更高层的树的结构
我们将用Check来在第二层的础基上来表现这棵树:Check=NO 或者 YES
首先我们跑一次第二层,Check直一置设为NO,不加增什么作操,直到:
我们置设Check=YES,那么生发奇迹的时辰到了,看到没,一组Start和Join消逝了,取而代之的是一个Chunk:PP
我们再继承,CHECK继承为NO:
看到没,在选择Check为YES的时候就把上一个start的分部合并成一个号符!!!
这样继承到最后,我们就失掉了终究的decision:
4.4 Applying a Log-Linear Model
其实比较单简,就是di作为入输,而<d1…di-1,S>作为history
其中A表现有所可能的action(decision)
那么当初还有一个大最的问题,怎么计设我们的 f ?!!
Ratnaparkhi的模型中重要还是关联了decision的分部,我们一样可以对decision停止trigram或者bigram模型的计设,这是和前以的义定一样的,然后将各分部混杂起来就会失掉很多的f了。
4.5 Search Problem
在POS tagging问题中我们可以用使Viterbi algorithm的原因是我们有如下假设:
但是当初的decision可能依托之前的意任一个decision,动态规划是没辙了。。。。
这一分部会在下一周的课程讲到。^_^
文章结束给大家分享下程序员的一些笑话语录:
程序语言综述
CLIPPER 程序员不去真的猎捕大象,他们只是购买大象部分的库然后花几年的时间试图综合它们。
DBASE 程序员只在夜间猎捕大象,因为那时没人会注意到他们还在使用石弓。
FOXPRO 程序员开始使用更新更好的步枪,这使他们花掉比实际狩猎更多的时间学习新的射击技术。
C 程序员拒绝直接购买步枪,宁可带着钢管和一个移动式机器车间到非洲,意欲从零开始造一枝完美的步枪。
PARADOX 程序员去非洲时带着好莱坞关于猎捕大象的电影剧本,他们认为照剧本行事就会逮到一头大象。
ACCESS 程序员在没有任何猎象经验的经验下就出发了,他们穿着华丽的猎装、带着全部装备,用漂亮的望远镜找到了大象,然后发觉忘了带扳机。
RBASE 程序员比大象还要稀少,事实上,如果一头大象看到了一个RBASE程序员,对他是个幸运日。
VISUAL ACCESS 程序员装上子弹、举起步枪、瞄准大象,这使大象感到可笑,究竟谁逃跑。他们无法抓住大象,因为由于他们对多重控制的偏爱,他们的吉普车有太多的方向盘因而无法驾驶。
ADA、APL和FORTRAN 程序员与圣诞老人和仙女一样是虚构的。
COBOL 程序员对和自己一样濒临灭绝的大象寄予了深切的同情。