2018年10月28日
transformer中 数据预处理代码理解
今天师兄将transformer中的数据预处理部分讲了一下。 数据准备: train.en train.cn 一个英文的语料，一个中文的语料 语料中是一些一行行的语句 目标：将语料中的词抽取出来，放在一个词表里。词表里是序号+词 其次，将train中的语句形成数字序列 比如：today在词表中的id Read More
posted @ 2018-10-28 00:09 足下水清 Views(1159) Comments(0) Diggs(0) Edit