2019年10月16日
处理语料篇
摘要： 语料处理规则： 在机器翻译中，一份好的语料会对翻译模型有很大的提升。但不同的研究人员都有不同的处理规则，本文选用小牛翻译的处理语料的规则方法。 （1）过滤掉单词长度超过100和单个单词字符的长度超过40的句子。 （2）过滤掉源语言和目标语言的长度比大于1/3的句子。 （3）过滤掉包含HTML标签的句 阅读全文
posted @ 2019-10-16 21:11 胡~萝~卜 阅读(655) 评论(0) 推荐(0) 编辑