合集-Transformers实战

实战Transformers-【基础知识与环境安装】Day 1

摘要：自然语言处理任务首先介绍一下基础知识，这里我直接引用视频里的ppt Transformers介绍 Transformers相关环境安装环境安装来了，这里作者从头演示了一次前置环境安装——Python miniconda安装下载地址:miniconda 如果C盘有空间，最好安装在C盘，且安装目阅读全文

posted @ 2023-11-06 22:31 会自愈的哈士奇阅读(1891) 评论(0) 推荐(0) 编辑

实战Transformers-【基础知识与环境安装】Day 2

摘要：基础组件之Pipeline 什么是Pipeline Pipeline 将数据预处理、模型调用、结果后处理三部分组装成的流水线使我们能够直接输入文本便获得最终的答案数据进来先经过Tokenizer做数据预处理然后进到模型里面去做调用最后再去经过一个后处理得到结果比如下面这句话转成id然后要经过模阅读全文

posted @ 2023-11-11 17:45 会自愈的哈士奇阅读(194) 评论(0) 推荐(0) 编辑

实战Transformers-【基础知识与环境安装】Day 3

摘要：基础组件之Tokenizer Tokenizer简介数据预处理 Step1 分词：使用分词器对文本数据进行分词(字、字词); Step2 构建词典：根据数据集分词的结果，构建词典映射(这一步并不绝对，如果采用预训练词向量，词典映射要根据词向量文件进行处理); Step3 数据转换：根据构建好的词典阅读全文

posted @ 2023-11-12 17:47 会自愈的哈士奇阅读(113) 评论(0) 推荐(0) 编辑