10 2021 档案
摘要：前言 没有我想象中的难，毕竟站在前人的肩膀上，但还是遇到许多小困难，甚至一度想放弃 用时：两整天（白天） 目的：训练一个transformer模型，输入[1,2,3,4]，能预测出[5,6,7,8] 最终效果：transformer model各层及维度符合预期，能train，predict还有一点
阅读全文
摘要：indexes转one-hot https://stackoverflow.com/questions/65424771/how-to-convert-one-hot-vector-to-label-index-and-back-in-pytorch https://pytorch.org/docs
阅读全文
摘要：这样 ？这都能报错 啊这，我len怎么是个整数，难怪了 前面写过这么一句代码： 因此，把这个变量换个变量名吧
阅读全文
摘要：ref: https://towardsdatascience.com/how-to-use-datasets-and-dataloader-in-pytorch-for-custom-text-data-270eed7f7c00 https://pytorch.org/tutorials/begi
阅读全文
摘要：参考 https://blog.csdn.net/dong_liuqi/article/details/109823874 这种情况下，你还能发现batch_size为1时是不会报错的， batch_size为大于1会报错，报错的原因是同一batch中的entries的维数不一样 例如, batch
阅读全文
摘要：可见https://www.cnblogs.com/everfight/p/NotImplementedError.html 补充一个我遇到的情况： MultiHeadAttention继承了nn.Module，因此需要实现forward方法 然后 你说你实现了forward啊 但是 你fowrar
阅读全文
摘要：原文 https://rockt.github.io/2018/04/30/einsum 就是说有一种运算，叫做einsum，可以做各种矩阵和向量的运算，而且特别简洁和优美 自己跑一下里面的例子，就知道是怎么回事了， 这里记录一下其中的tensor contraction，算是最general的形式
阅读全文
摘要：视频1 https://www.youtube.com/watch?v=1_gRK9EIQpc&ab_channel=Hung-yiLee 视频2 https://www.youtube.com/watch?v=gh0hewYkjgo&ab_channel=Hung-yiLee Bert论文链接 h
阅读全文
摘要：Hung-yi Lee李宏毅的课，没有废话，重难点都讲了，可以说是非常棒了 视频地址https://www.youtube.com/watch?v=ugWDIIOHtPA&ab_channel=Hung-yiLee 1. Seq2Seq采用RNN不能并行化，使用CNN代替RNN 例如CNN三角形选取
阅读全文
摘要：如果之前使用的训练命令是 python train.py --device gpu --save_dir ./checkpoints 添加 -m paddle.distributed.launch 就能使用分布式训练，python -m paddle.distributed.launch train
阅读全文
摘要：做题一时爽，补题... 2042. 检查句子中的数字是否递增 签到题 class Solution: mymax = -1 def areNumbersAscending(self, s: str) -> bool: x_list = s.split() for x in x_list: if x[
阅读全文
摘要：试一下例子： Text classification examples https://github.com/huggingface/transformers/tree/master/examples/pytorch/text-classification 失败诶 记录 一个报错： 我在新的虚拟环境
阅读全文
摘要：视频：https://www.bilibili.com/video/BV1Ly4y1L7aP 就是用google的一个gvisor项目去解决容器安全问题，它引进了user-kernel "感觉就是增加user-kernel层，但是这个user-kernel能跳过Linux kernel去管理网络和储
阅读全文
摘要：安装 // 首先，创建一个虚拟环境 conda create -n my_paddle python=3.8 // 安装Paddle GPU版 // 没有加版本号会自动下载最新版 pip install paddlepaddle-gpu // 安装PaddleNLP pip install padd
阅读全文
摘要：有时候想给朋友分享一个文件，或者上传一个文件到服务器，需要一个中介，不会有人用百度网盘吧？？ 主要考虑的因素：是否收费，空间与流量、上传与下载速度、是否提供外链 Storj DCS 国外产品，官网 优点：150G免费空间，无限免费流量，有外链 缺点：速度不是很快，上传1M左右，下载也是1M左右，用下
阅读全文
摘要：1.安装 第一步：在 Anaconda官网 选择下载对应系统 Python3.7版本下载（Mac下载Command Line Installer版本即可)。 复制链接wget就行 第二步：安装，执行 bash Anaconda3-2021.05-Linux-x86_64.sh 安装过程中一直回车即可
阅读全文
摘要：大杂烩，基本翻译自 A brief introduction to XDP and eBPF The eXpress Data Path xdp-ebpf 简介 Kernel Bypass 在过去几年中，我们看到了编程工具包和技术的升级，以克服Linux kernel的限制，来进行高性能数据包处理。
阅读全文
摘要：有点激动，啊啊啊想明白了attention的含义，然后连着的一大片都能看懂了，茅塞顿开的感觉真好 1. 理解Self-Attention 超详细图解Self-Attention Q, K, V是啥啊？？？ 我们先看 $Softmax(XX^T)X$的含义 线性代数的知识： X乘X的转置，不就是当前行
阅读全文
摘要：对 Linux内核之旅-BPF C编程入门 的笔记 先说一下，这里的BPF实际上是指eBPF，不是传统的cBPF 1.搭建BPF程序运行环境 1.1.下载内核源码 下载的内核版本应与你系统的版本一致，查看当前内核版本 uname -r 然后在源码镜像站点(http://ftp.sjtu.edu.cn
阅读全文
摘要：笔记： 一、P2Tree-LLVM基本概念入门 1. Chris Lattner nb 2. Clang的发音是/ˈklæŋ/，这是官方确认过的 3. IR的第三种表示是一种内存格式，只保存在内存中，所以谈不上文件格式和文件后缀，这种格式是LLVM之所以编译快的一个原因，它不像gcc，每个阶段结束会
阅读全文
摘要：0.LLVM是什么 LLVM项目是可重用(reusable)、模块化(modular)的编译器以及工具链(toolchain)技术的集合，有人将其理解为“底层虚拟机(Low Level Virtual Machine)”的简称，但是官方原话为： “The name “LLVM” itself is
阅读全文
摘要：方法很多，记录两个简单有效的 第一种方法： 在github.com后面加 .cnpmjs.org例如我现在要用git下载gorm项目 https://github.com/babysor/MockingBird.git想要加速则使用指令 git clone https://github.com.cn
阅读全文
摘要：Mark 拉取github报错 gnutls_handshake() failed: The TLS connection was non-properly terminated.
阅读全文