Josie_chen

摘要： 两两组合看有多少种对齐方式列举成一棵树。 然后从头开始组成一句话。但是如果想要穷尽所有情况是一个NP难问题，没有办法实现，因此只能采取最优路径搜索。 例如，下面提到的beam search算法可以很优秀地进行路径查找。此方法在谷歌NN翻译的解码阶段也有采用。 Find Best Path：找最优路径 阅读全文

摘要： 将很长的短语对进行拆分，来进行计算。 有时一个中文的词会对应好几个英文（一对多），因此才在抽取短语的时候需要满足“一致性要求”。 阅读全文

摘要： 统计翻译模型核心就是基于短语的翻译（短语与短语的对应）。 上一讲中词到词的对应就是为了短语对应做铺垫。 一致性短语需要满足三个条件： 条件1：如果“北京 房价”对应的英文短语中包含“北京”、“房价”分别对应的英文单词（原因是在词对齐的时候，可以发现有很多轮空的.） 条件2： 以目标语言为基础，不同目 阅读全文

摘要： www.NiuTrans.com IBM的思路：EM算法。 由于语序问题肯定不能一个个词直接翻译。因此需要找到内在的词对齐的方式。 在IBM出现之前，采用过很多句法上的努力。例如利用语法syntax分析（现在已经不怎么用）。因为当句子很长的、表达方式越来越多元化的时候，如果想要通过直接归纳出来一个固 阅读全文

摘要： 基于统计的机器翻译：mosesdecoder作为比对翻译效果的baseline，如果不如这个的效果，就说明测试系统效果不算好。 首先看看一共需要以下三个模型： 语言模型：用来评估这句话的通畅程度。 1、需要从大量的语料中学习出在新的句子知道对应的英语翻译是什么。 2、翻译模型：实质是基于短语的（不是 阅读全文

摘要： LDA模型应用：一眼看穿希拉里的邮件 我们拿到希拉里泄露的邮件，跑一把LDA，看看她平时都在聊什么。 希望通过这样一个LDA模型将她所有的邮件进行分类，从而只需要从这些类中取出。 利用gensim中包含的LDA模型。 首先，导入我们需要的一些库 LDA模型应用：一眼看穿希拉里的邮件 我们拿到希拉里泄 阅读全文

摘要： PPT 什么是主题模型：给定一篇文章X，区分出他是什么主题Y。 理理解整个过程，涉及到比较复杂数学推导。⼀一般来说，从公式1一直推导到公式100，⼤大部分同学会在公式10左右的时候，就关了了直播，洗洗睡了了所以，我今天用3个不不同版本的讲解，从简单到复杂，一步步理理解主体模型。 直观版： 假设某企业 阅读全文

摘要： 1. 引言：朴素贝叶斯的局限性 我们知道朴素贝叶斯的局限性来源于其条件独立假设，它将文本看成是词袋子模型，不考虑词语之间的顺序信息，就会把“武松打死了老虎”与“老虎打死了武松”认作是一个意思。那么有没有一种方法提高其对词语顺序的识别能力呢？有，就是这里要提到的N-gram语言模型。 2. N-gra 阅读全文

摘要： 用朴素贝叶斯完成语种检测 用朴素贝叶斯完成语种检测 用朴素贝叶斯完成语种检测 我们试试用朴素贝叶斯完成一个语种检测的分类器，说起来，用朴素贝叶斯完成这个任务，其实准确度还不错。 我们试试用朴素贝叶斯完成一个语种检测的分类器，说起来，用朴素贝叶斯完成这个任务，其实准确度还不错。 我们试试用朴素贝叶斯完 阅读全文

摘要： 朴素贝叶斯与应用 朴素贝叶斯与应用 朴素贝叶斯与应用 贝叶斯理论简单回顾 在我们有一大堆样本（包含特征和类别）的时候，我们非常容易通过统计得到 p(特征|类别)p(特征|类别). 大家又都很熟悉下述公式： p(x)p(y|x)=p(y)p(x|y)p(x)p(y|x)=p(y)p(x|y) 所以做一 阅读全文