Pytorch加载txt格式的数据集文件（以PTB数据集为例）
前言
这篇博客以PTB数据集为例，详细讲解了如何将txt格式的数据集文件，转换为pytorch框架可以直接处理的tensor变量，并附上相应代码
@
1. PTB 数据集
PTB数据集含有三个txt文件，分别作为训练集（train），验证集（valid）和测试集（test）；这三个txt文件分别包含42000，3000和3000句英文；
我们要将其转化为pytorch可处理的tensor类型数据集，需要以下几步：
- 依次读取每一行的训练集文件(train.txt)，为每一个读到的单词分配序号，构建词汇表
- 出现频率低于min_ooc(通常默认为3)次的词汇，单词一率变为未知单词 < unk > ，分配序号1
- < sos >为每句话的起始信号，分配序号2
- < eos >为每句话的结束信号，分配序号3
- 由于每句话长度不一样，而pytorch批处理数据，需要统一句子长度，因此长度较短的句子用 < pad > 填充，分配序号0
- 统一句子长度为max_sentence_length(默认50)
- 高于50个单词的句子，只保留前50个单词；
- 低于50个单词的句子，用 < pad > 信号填充到50
- 根据训练集构建的词汇表，将训练集，验证集和测试集都变成数字序号表示的句子，如 a cat not is dog变成 2 25 54 12 0 0
- 构建三个数据集加载转换后的用数字序号表示的句子，并将其错位句子作为该句子的标签（target），例如, a cat not is dog变成 2 25 54 12 0 0, 那它对应的target就是 25 54 12 3 0 0 了 （2 3 分别为起始，末尾信号）
- 将其转换为批处理的tensor变量
这样我们就能得到pytorch可以直接加载处理的tensor类型数据集了
2. 构建词汇表
我们先定义一个字典类型的变量，该字典类型变量，会将输入的句子里的新单词添加到字典中，并记录该单词的出现次数
引入库文件：
import json
import torch
import numpy as np
from nltk.tokenize import TweetTokenizer
from collections import Counter, OrderedDict,defaultdict
import io
import os
from torch.utils.data import DataLoader
class OrderedCounter(Counter, OrderedDict): #这样定义的字典类型变量，会将输入的句子里的新单词添加到字典中，并记录该单词的出现次数
"""Counter that remembers the order elements are first encountered"""
def __repr__(self):
return '%s(%r)' % (self.__class__.__name__, OrderedDict(self))
def __reduce__(self):
return self.__class__, (OrderedDict(self),)
依次读入ptb.train.txt的每一句话，并对其进行分词，不区分大小写；
- 分词：由于默认可以通过空格来分开每个单词，但专业的分词函数更好些
def create_vocab(split):
tokenizer = TweetTokenizer(preserve_case=False) #分词，不区分大小写
w2c = OrderedCounter()
w2i = dict()
i2w = dict()
special_tokens = ['<pad>', '<unk>', '<sos>', '<eos>']
for st in special_tokens:
i2w[len(w2i)] = st
w2i[st] = len(w2i)
with open(split, 'r') as file:
for i, line in enumerate(file):
words = tokenizer.tokenize(line)
w2c.update(words) #这段程序将文件中出现过的所有单词加载到字典类型变量w2c中，并存储了他们出现的次数
for w, c in w2c.items():
if c > 3 and w not in special_tokens: #依次为出现次数大于3，且不是那4种特殊信号的单词分配序号
i2w[len(w2i)] = w
w2i[w] = len(w2i) #w2i格式为'cat':50这种,i2w为50:'cat'这种
return w2i,i2w
实例化一下试试：
3. 将训练集，验证集和测试集根据词汇表转换为数字序号，并转换为tensor
def create_data(split,w2i): #split为待转换的txt文件地址
tokenizer = TweetTokenizer(preserve_case=False) #分词，不区分大小写
data = defaultdict(dict)
with open(split, 'r') as file: #读取该文件的每一行
for i, line in enumerate(file):
words = tokenizer.tokenize(line) #分词
input = ['<sos>'] + words #输入的开头增加<sos>信号
input = input[:50] #只保留前50个（起始信号<sos> + 文本的前49个单词)
target = words[:50-1] #输入对应的target,也只保留50个(取文本的前49个单词+ 结束信号<eos>)
target = target + ['<eos>']
length = len(input)
input.extend(['<pad>'] * (50-length)) #输入和target，不足50个的，用<pad>补足50个
target.extend(['<pad>'] * (50-length))
input = [w2i.get(w, w2i['<unk>']) for w in input]
target = [w2i.get(w, w2i['<unk>']) for w in target]
id = len(data) #id表示该数据集的第id句话
inpu_t = torch.from_numpy(np.asarray(input)) #转换为tensor形式
targe_t = torch.from_numpy(np.asarray(target))
data[id]['input'] = inpu_t
data[id]['target'] = targe_t
data[id]['length'] = length
return data
实例化一下试试：
3. 转换为批处理的tensor变量
data_loader = DataLoader(
dataset= data,
batch_size= 64,#批处理大小
shuffle=True #是否打乱排序
)
实例化试试：
总结
这篇博客以PTB数据集为例，介绍了如何将txt形式的数据集转换为pytorch框架中可以使用的，批处理的tensor形式
参考项目：github上以PTB数据集训练的一个语言模型的项目
