摘要: 文本预处理通常包括四个步骤: 读入文本 分词(Tokenization) 建立词典(vocab),将每个词映射到唯一的索引(index) 根据词典,将文本序列转为索引序列,方便输入模型 建立词向量矩阵 读入文本 class ZOLDatesetReader: @staticmethod def __ 阅读全文
posted @ 2022-04-14 21:53 ArdenWang 阅读(68) 评论(0) 推荐(0) 编辑
摘要: 来源:机器学习算法与自然语言处理 基本配置 导入包和版本查询 import torch import torch.nn as nn import torchvision print(torch.__version__) print(torch.version.cuda) print(torch.ba 阅读全文
posted @ 2022-04-14 10:16 ArdenWang 阅读(50) 评论(0) 推荐(0) 编辑