03 2023 档案
摘要：论文：LLaMA: Open and Efficient Foundation Language Models 模型代码：https://github.com/facebookresearch/llama/blob/main/llama/model.py 你也可以打开之前的目录看完整代码。 摘要、介
阅读全文
摘要：LLaMA 最近开源，分别开源了 7e9, 1.3e10, 3.3e10, 6.5e10 四个参数量的模型。但是这里有意思的是，他们管自己的模型称为 smaller models。 Google 推出了 22B 的 ViT 1. Efficient（PEFT） 简要概括 更高效，哪里慢就让它快起来
阅读全文
摘要：群智能（Swarm intelligence） 自然界动物群，称之为群。 群的特征： 相互作用的相邻个体的集合 个体的行为简单，既有竞争又有协作 智能化的集体行为（1+1>2）： 个体间不仅能够交互信息，还能够处理信息，根据信息改变自身行为 没有一个集中控制中心，分布式、自组织 作为群体协同工作时，
阅读全文
摘要：前两个也许跟上了，后两个完全没跟上，以后再详细读读吧qwq 反正组会跟不上才是正常现象。 AugGPT: Leveraging ChatGPT for Text Data Augmentation 摘要、引言、相关工作 当下数据增强两个缺陷 真实性不足，有的跟原始 label 有偏移 生成的数据缺乏
阅读全文
摘要：希望您们先看过书，再来看本 blog，否则可能会看不懂，原因是我只写书上没写或者很新奇的东西。 先引个 torch 包 import torch 2.1 数据操作 2.1.1 入门 x.numel() 会返回张量中元素的总数。 torch.tensor() 与 torch.Tensor() 的区别
阅读全文
摘要：2023/3/20 粒子群（PSO）算法 ~~老师又没来，这说明助教比老师强，男助教能讲算法，女助教讲论文怎么写，说明男助教强~~ 大作业相关 下周起开始汇报，下周一 按照题目第一关键字，顺序号第二关键字 讲 15 分钟，问答 5 分钟 下周一、三讲的组只需要把算法设计讲出来即可 上课内容 The
阅读全文
摘要：ViT 概括 论文题目：AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 论文地址：https://openreview.net/pdf?id=YicbFdNTTy 作者来自 Google 亮点: 一
阅读全文
摘要：某天打了一下 CF，遇到了一道 https://codeforces.com/contest/1806/problem/E 这里需要卡常。 于是在 C++20(64) 下测出来了一些神奇的结果。 结果 都测了两回 | 序号 | 方法 | 时间 1（ms） | 时间 2 （ms） | | | | |
阅读全文
摘要：开场 多模态串讲的上篇是比较传统的多模态任务 多模态最后的模态交互很重要 传统的缺点是都用了预训练的目标检测器，训练和部署都很困难。 ViLT 把预训练的目标检测器换成了一层的 Patch Embedding。 因此容易比不过 c 类的方法 ViLT 训练很慢 认为未来是 c 类的模型结构 Loss
阅读全文
