随笔分类 - Transformer学习笔记

论文阅读笔记：ViViT: A Video Vision Transformer

摘要：1.模型整体架构左图为论文作者提出了用于视频分类的架构，基于纯transformer的，右图为用不同方式处理时空特征的Encoder的不同组件的变体。 2.视频特征及token构建 2.1 Uniform frame sampling 这种方法就是如图所示，均匀间隔固定的帧，采样帧信息，按照Vit 阅读全文

posted @ 2022-05-09 16:43 梦想是能睡八小时的猪阅读(1287) 评论(0) 推荐(0) 编辑

Transformer中的Tokenizer分词器使用学习

摘要：1.加载 tokenizer是进行语言处理的基础，transformer实现分词器的基类是 tokenizer = AutoTokenizer.from_pretrained(tokenizer_type）后面可以通过from_pretrained函数中的retrained_model_name_ 阅读全文

posted @ 2022-04-19 16:15 梦想是能睡八小时的猪阅读(4880) 评论(0) 推荐(0) 编辑