对训练集中的数据做随机抽样，并对抽样出的数据可视化观察分布情况

（1）语料库中56万条数据，分为14个类别

（2）现在训练模型，采样率设定为0.01，即5600条样本

（3）观察用于模型训练数据的分布

def load_data(file_name, sample_ratio=1, n_class=15, names=names, one_hot=True):
    '''load data from .csv file'''
    csv_file = pd.read_csv(file_name, names=names)
    # 对56万条数据做随机采样，获取其中的100分之1
    shuffle_csv = csv_file.sample(frac=sample_ratio)
    x = pd.Series(shuffle_csv["content"])
    y = pd.Series(shuffle_csv["class"])
    if one_hot:
        y = to_one_hot(y, n_class)

    # 看一下y值数据的分布
    y_dist = Counter(y.values)
    sample = []
    label = []
    for i in range(14):
        label.append(i+1)
        sample.append(y_dist[i+1])
    plt.bar(label, sample)
    plt.show()

    return x, y

展示：

 

　　思考：模型训练的数据不是越多越好吗？何况使用深度学习模型，那作者为什么不不同56万条，而是用5600条训练模型。如果可以达到效果，那么说，对于小容量的数据集，也可以得到一个很好的模型。可以拭目以待。