摘要：
分布式训练使用方法见博主之前的博客，本文介绍一些注意事项。 分布式训练用torchrun进行，要注意： 所有进程必须固定随机种子，不然可能会导致训练时不同进程的样本不一致，尤其是涉及随机数时，比如train_test_split。 export LOGLEVEL=DEBUG可以修改torchrun的 阅读全文
摘要：
前排提醒 由于本人的服务器只有1G内存，但是mysql启动就占用500M，系统占用500M，导致wordpress计划流产。 Abstract 本文将记录本人使用wordpress搭建博客的流程。 0. Requirements 系统：Ubuntu 22.04 根据wordpress官网指引，需要如 阅读全文
摘要：
我在使用ssh远程端口转发时，即使设置了0.0.0.0，也是监听127.0.0.1，经过查询发现： https://www.cnblogs.com/xuyaowen/p/ssh-remote-forward.html 需要修改sshd中的一项配置：GatewayPorts yes 然后重启sshd即 阅读全文
摘要：
Abstract 本文总结了如何下载各种linux发行版上的包管理器打包好的二进制软件并使用的方法。 1. Introduction linux安装软件一般要么是用apt，要么是yum等，但是这些包管理器都需要root权限，在没有root权限时，我们可以用conda安装部分软件，但是有的软件cond 阅读全文
摘要：
前排提醒：本文仅针对git新手，因此部分表述可能会略显不妥，git老手请自行忽略。 创建远程仓库 这一步各个网站各有不同，故不作过多介绍。但是需要注意，除非你准备创建一个全新的项目，否则不要勾选init with readme等类似选项，确保创建的是空仓库。 以下内容参考自GitLab和GitHub 阅读全文
摘要：
由于pytorch的python语句执行和CUDA后端实际上是异步执行的，所以当CUDA runtime报错时，并不一定能正确地反映在python抛出的错误语句中，因此，可以添加一个环境变量来实现： CUDA_LAUNCH_BLOCKING=1 这里再补充一些关于cuda和pytorch异步执行的知 阅读全文
摘要：
鉴于有评论区用户质疑本文的必要性，首先前排提醒： linux大部分你可能以为需要root的需求都可以不用root解决。 只要你善用conda、.bashrc、LD_LIBRARY_PATH基本可以解决。 conda可以安装各种二进制包，包括各种版本的gcc/g++ 安装最新版gcc和g++ cond 阅读全文
摘要：
苯人有一台服务器，由于没有设置什么ssh ip过滤规则，经常被扫描，所以今天在此查看一下是哪些倒运鬼东西一直扫描的，把它们给屏蔽了。 以下是苯人服务器环境： Ubuntu 20.04 LTS ssh认证的日志会记录在/var/log/auth.log中（在ubuntu 16.04之前似乎是/var/ 阅读全文
摘要：
当前版本为本文的尝鲜版，稳定版尚未发布： 稳定版已发布 位置编码： https://zhuanlan.zhihu.com/p/454482273 transformer的sin位置编码本身已经包含了相对位置信息，本身就是一种包含相对信息的绝对位置编码。因为它符合一种形式： \[PE_{t+k}=f( 阅读全文
摘要：
当我们commit了之后想回退，共有两个命令，四种组合。 包括git reset和git revert。其中git reset有三种模式：--mixed, --soft, --hard 假设你提交了一次，这次提交修改了changed.sh文件，你想回退这次修改。 HEAD指的当前位置，HEAD^1就 阅读全文