05 2023 档案

摘要：Text Summarization with Pretrained Encoders（PreSumm模型） 论文地址 摘要 在本文中，我们展示了如何在文本摘要中有效地应用BERT，并为提取性模型和抽象模型提出了一个通用框架。我们介绍了基于BERT的新颖文档级编码器，该编码器能够表达文档的语义并获得 阅读全文

摘要：## 在中文数据集上预训练过的模型效果 ``` Generated Title: 传章子怡怀孕4个月, 预产期是年底前后, 已不接工作; 消息是章子怡怀孕了, 消息是真是假; 消息称章子怡怀孕的消息是假? (1) 科技频道光明网(组图) 。 Actual Title: 知情人透露章子怡怀孕后,父母很 阅读全文

摘要：1. 输入内容会带有一定的转写错误，会对模型的训练造成一个的干扰 用了input word replace方法，将一部分输入的词随机替换成其他词表中的词，这种类似于对抗训练的方法能够极大增加模型的鲁棒性，并且使得模型有一定的识别转写错误、纠正转写错误的能力。 input word replace 因 阅读全文

摘要：把英文语料翻译成中文 针对翻译的中文数据放入中文摘要模型进行推理，输出摘要。 比较输出的中文语料摘要 与 原始英文转录摘要 对比 1. 语料，一个中文语料，一个英文语料 2. 使用中文摘要生成模型 此模型在上述中文语料上是否进行过训练 1）是，相当于看过答案，生成的摘要效果较好。但对于英文语料（翻译 阅读全文

摘要：Data collator used for BART denoising language modeling. The code is largely copied from `<https://github.com/morganmcg1/rotobart/blob/main/data_colla 阅读全文

摘要：ChatGLM-6B https://github.com/THUDM/ChatGLM-6B 支持在单张 2080Ti 上进行推理使用。 在 1:1 比例的中英语料上训练了 1T 的 token 量 ChatGLM-6B 序列长度达 2048 fine-tune 需要Deepspeed 训练需要显存 阅读全文