随笔分类 - Deep Learning
摘要：# 总览 你是否好奇 GitHub Copilot 如何知道你想写的内容？有时候它聪明得甚至好像读过你项目里其他文件一样，不要怀疑，它确实读过。这篇文章记录了我阅读一个对 Copilot 的[逆向工程](https://thakkarparth007.github.io/copilot-explor
阅读全文
摘要：引言 我上两个月参加了一个中文文本智能校对大赛，拿了17名，虽然没什么奖金但好歹也是自己solo下来的比赛吧，期间也学到了一些BERT应用的新视角和新的预训练方法，感觉还挺有趣的，所以在这里记录一下这期间学到的知识，分享一下自己的比赛过程，方案在此处：https://github.com/qftie
阅读全文
摘要：本节主要记录使用wandb记录训练曲线以及上传一些格式的数据将其展示在wandb中以便分析的方法，略过注册安装部分（可使用`pip intall wandb`安装，注册相关issue可上网搜索），文章着重于wandb的基本用法。 # 初始化 首先创建在wandb页面中中创建需要可视化的project
阅读全文
摘要：本文介绍一些避免transformers的OOM以及训练等流程太漫长的方法，主要参考了kaggle notebook [Optimization approaches for Transformers | Kaggle](https://www.kaggle.com/code/vad13irt/op
阅读全文
摘要：Intro 对于同样的数值计算任务，使用numpy比直接编写python代码实现 优点： 代码更简洁： numpy直接以数组、矩阵为粒度计算并且支持大量的数学函数，而python需要用for循环从底层实现； 性能更高效： numpy的数组存储效率和输入输出计算性能，比python使用list好很多，
阅读全文
摘要：argparse是深度学习项目调参时常用的python标准库，使用argparse后，我们在命令行输入的参数就可以以这种形式python filename.py --lr 1e-4 --batch_size 32来完成对常见超参数的设置。，一般使用时可以归纳为以下三个步骤 使用步骤： 创建Argum
阅读全文
摘要：模型结构演进 本文以演进方向和目的为线索梳理了一些我常见到但不是很熟悉的预训练语言模型，首先来看看“完全版的BERT”：**RoBERTa: A Robustly Optimized BERT Pretraining Approach（2019）**可看成是完全体的BERT，主要3方面改进，首先采用
阅读全文
