摘要:
本文并不讲解deepspeed的原理以及用法,只是澄清几个deepspeed中的技术细节。 启动deepspeed训练可以通过运行deepspeed --nproc-per-node 4 xxx.py ...,这样就会启动4个进程来运行xxx.py deepspeed启动进程后如何知道是几号进程? 阅读全文
摘要:
本人使用的系统是Ubuntu 20.04,如果是22.04会更加丝滑 1. 终端复制粘贴 Ubuntu默认的复制粘贴是Ctrl+Shift+C,而我习惯了Ctrl+C,同时windows的终端是支持鼠标右键复制粘贴的,非常方便。 对于后者,鼠标右键单击复制/粘贴,在Ubuntu 更新版本的终端中已经 阅读全文
摘要:
秋招在即,在此记录本人的刷题记录,记录一下基本解题思路,希望评论区的各位仅聚焦题目内容本身讨论 不要讨论其他问题,尤其是某些人不要透漏我的个人信息。 剑指offer problem set在leetcode cn版已经下架,因此题目列表参考已经被GitCode[1]开源社区收录的力扣【剑指offer 阅读全文
摘要:
在vscode中,标题栏显示当前打开的文件名,但是对我来说,我不关心文件名,更关心是打开了哪个workspace/host,因此,意图修改。 在vscode中配置window.title这一项 首先默认的配置如下: ${dirty}${activeEditorShort}${separator}${ 阅读全文
摘要:
背景 本人在安装deepspeed后遇到了这个报错,明眼人一看就是缺库,但是搜索到的解决方案(凌漪_, 2023)说是设置一个环境变量,实在是治标不治本,而且对本人来说连标都治不了。其他的博客尚未看到解决此问题的。 分析 这个so文件理论上应该在安装deepspeed的过程中就自动编译好了,但是现在 阅读全文
摘要:
1. 查看环境变量 根据进程pid看,以121927号进程为例: cat /proc/121927/environ | tr '\0' '\n' 每个环境变量都以'\0'结束,直接cat会不方便查看,将'\0'替换为'\n'可以方便查看。注意,tr后必须加单引号,不然参数会被shell转义为0和n。 阅读全文
摘要:
0. Motivation 由于未知原因,docker无法拉取镜像,我们设置一下环境变量http_proxy。 1. Preliminary 需要注意的是,你在shell终端设置http_proxy是没用的,不然这篇博客也不会出现。 2. Method docker守护进程是通过systemctl启 阅读全文
摘要:
最近阅读论文,再回顾一些基础的线性代数知识 1. 行列式 转置不改变行列式的值 \[|A|=|A^T| \] 对某一行加上另外一行的K倍,不改变行列式的值 只要矩阵有一行为0,行列式就是0。因为行列式等于任意一行/列的元素和其代数余子式的乘积之和,元素本身是0,行列式就是0 \[|A|=a_{i0} 阅读全文
摘要:
分布式训练使用方法见博主之前的博客,本文介绍一些注意事项。 分布式训练用torchrun进行,要注意: 所有进程必须固定随机种子,不然可能会导致训练时不同进程的样本不一致,尤其是涉及随机数时,比如train_test_split。 export LOGLEVEL=DEBUG可以修改torchrun的 阅读全文
摘要:
前排提醒 由于本人的服务器只有1G内存,但是mysql启动就占用500M,系统占用500M,导致wordpress计划流产。 Abstract 本文将记录本人使用wordpress搭建博客的流程。 0. Requirements 系统:Ubuntu 22.04 根据wordpress官网指引,需要如 阅读全文