摘要：
首先我们看一下主训练逻辑 # dataloader train_dataset = MyDataset(args.data_json_file, tokenizer=tokenizer, size=args.resolution, image_root_path=args.data_root_pat 阅读全文
摘要：
参考自RoPE旋转位置编码深度解析：理论推导、代码实现、长度外推 - 知乎 (zhihu.com) 位置编码： 1.绝对， 直接加到输入中. 2.相对，加在Attn的内积之前， 外推性能强。 ROPE：对Attn的K和V矩阵做ROPE 二维场景： 对于一个二维向量 : 偶数维的可以用拆成若干个2维的 阅读全文
摘要：
1 import math 2 import numpy as np 3 x_train = np.array([1.0, 2.0, 3.0]) 4 y_train = np.array([300.0, 350.0, 500]) 5 6 def compute_cost(x, y, w, b): 7 阅读全文
摘要：
特别感谢@lz.pan对本文的斧正. 我们来进行一个多头注意力的写。 首先直接开导： import torch from torch import nn import torch.nn.functional as F import math 导完之后，很舒服，进行下一步。 class Multihe 阅读全文
摘要：
许多情况下，我们都希望修改Flake8的报错机制，如屏蔽太长报错等操作。 网上的主流方法： 修改settings.json（用户或工作区），在其中添加如下代码即可： "python.linting.enabled": true, "python.linting.flake8Enabled": tru 阅读全文
摘要：
在Linux中，我们可以临时指定某个Shell使用的GPU，在使用Paddle时，可以直接采用这种方法指定GPU（但是看起来比较蠢），在shell中直接输入： export CUDA_VISIBLE_DEVICES=1 #最后面的数字是GPU的编号 请注意：这是临时的方法，仅作用于当前shell，当 阅读全文
摘要：
阅读全文
摘要：
首先，我们需要用到2个库，分别是numpy和cv2. import numpy as np import cv2 接着导入文件并进行最大最小值剪裁 cby = np.load('cby.npy') # load cby.npy MIN_DEPTH = 0 # minimum depth MAX_DE 阅读全文
摘要：
Bash脚本操作tmux示例 有时我们会想要使用bash脚本来操作tmux，这时就需要在bash脚本中输入如下的命令： tmux attach -t <session-name>; #<>填入你的session名字,进入tmux tmux send-keys -t <session-name>:<w 阅读全文
摘要：
例如我们目前有一个bash脚本存在于： ./unzip.sh 赋予执行权限 chmod 777 ./unzip.sh 执行： ./unzip.sh 阅读全文
