博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2020年12月3日

WMT14 en-de翻译数据集预处理步骤

摘要： fairseq提供了一份wmt14英德数翻译据集的预处理脚本，简单结合其代码分析一下其处理步骤： 下载mosesdecoder。mosesdecoder的使用文档在这里 echo 'Cloning Moses github repository (for tokenization scripts). 阅读全文

posted @ 2020-12-03 13:37 秘密小鱼 阅读(2866) 评论(0) 推荐(2) 编辑