随笔分类 - NLP / NLP应用
摘要：### **传入参数：** **model：** ```txt # def parse_args 中，命令行输入模型名称，默认是"transformer"。 parser.add_argument("--model", type=str, required=True, help="Name of t
阅读全文
摘要：**需求说明：** 我们想要收集单语数据，但是有时候数据是json类型的存在，我们想要在json数据中读取单语数据的部分，把它们处理成每行一条单语数据的文件。 #### 数据展示 **json数据:** ```json # 一条数据的展示 {"articleId": 2, "sentId": 20,
阅读全文
摘要：**需求描述：** 当我们训练模型的时候，我们要训练很多训练步数，我们想要保存训练到一定阶段的checkpoint模型参数，并把这些checkpoint模型保存到一个指定的文件夹下。在文件夹下我们最多保存`keep_checkpoint_max`个checkpoint模型的文件。保存到`output
阅读全文
