随笔分类 - Linux&Tools
摘要:
众所周知,bash命令执行的时候会输出信息,但有时这些信息必须要经过几次处理之后才能得到我们想要的格式,此时应该如何处置?这就牵涉到 管道命令(pipe) 了。管道命令使用的是|这个界定符号。每个管道后面接的第一个数据必定是命令,而且这个命令必须要能够接受标准输出的数据才行,这样的命令才可为管道命令。接下来我们选取grep、sed、awk这三个用于文本处理的管道命令来进行介绍。这三个命令可谓是Linux下操作文本的三大利器,合称Linux文本处理三剑客。
阅读全文

摘要:
在Linux系统中,执行一个程序或命令就可以触发一个进程,系统会给予这个进程一个ID,称为PID,同时根据触发这个进程的用户与相关属性关系,基于这个PID一组有效的权限设置。举个常见的例子,我们要操作系统的时候通常是利用ssh连接程序或直接在主机上登录,然后获取shell。默认的shell是bash,对应的路径为/bin/bash,那么同时间的每个人登录都是执行/bin/bash,不过每个人获取的权限不同。
阅读全文

摘要:
首先可以直接改Hosts文件(现在不太管用了)。如果你是Linux或Mac系统,那么可以通过命令sudo vim /etc/hosts打开Hosts文件并进行修改。如果你已经拥有了网络代理服务,那么我们可以在此基础上配置终端代理。我们查看得知自己代理服务器的IP地址为http://127.0.0.1,端口号为7890,则我们就可以使用这里的IP地址和端口号配置GitHub的终端代理了:git config --global http.https://github.com.proxy socks5://127.0.0.1:7890。
阅读全文

摘要:
.gitignore针对每个语言都有对应的模板,在GitHub创建项目时就可以选择(你可以在GitHub提供的.gitignore模板大全中找到它)。但是这些往往是不够的的。如我们在Mac系统下用VSCode开发,那么常常还需要添加其它项目。如.vscode/表示忽略.vscode这个包含项目配置文件的隐藏目录(注意是包括目录一起忽略,.DS_Store表示忽略掉Mac操作系统下存储目录自定义属性的隐藏文件。此外机器学习相关的项目中,数据和模型通常异常巨大,我们并不想将它们放到项目文件夹下。
阅读全文

摘要:
Linux下的可执行程序在运行时经常需要传一些参数,而这些参数是有规范的。包括我们自己写的在Linux系统下运行的Shell脚本、Python脚本等可执行程序,最好也遵循相关规范。我们下面以Linux命令为例来讲解参数规范。 中括号[]并不存在于实际的命令中,表示该参数是可选的,而加入选项设置时,通常选项前会带-符号,例如-h。
阅读全文

摘要:
近期在超算云上跑代码遇到了个乌龙,就是作业一提交到集群上去先是PD状态,然后马上就终止调了。后来知道是我用户目录下文件数量太多,导致已经超过管理员给我分配的磁盘配额了(众所周知机器学习相关项目的数据集一般有很多文件)。这边特此记录一下如何查看磁盘配额数据。超算用的是Lustre文件系统,该系统是一种并行分布式文件系統,通常用于大型计算机集群和超算。Lustre是源自Linux和Cluster的混成词。查看该类文件系统磁盘配额的命令为lfs quota。
阅读全文

摘要:
Linux下进行文件的解压、复制、移动应该是最常见的操作了。尤其是我们在项目中使用大量的数据集文件(比如机器学习)时。然而使用这些命令时一不留神就会掉进坑里,这篇文章我们就来细数用Shell进行文件操作的这些坑。压缩传参顺序是压缩后的文件在前,压缩前的文件在后,很容易搞错。使用mv语句时也要格外小心,因为它既有移动到目录的作用,也有重命名的作用。
阅读全文

摘要:
CSDN现在广告满天飞,且很多博客需要先关注才能复制,非常令人无语。如果每次用Google搜索的时候都要加上"-csdn"选项,就非常麻烦。有没有更方便的办法呢?我们可以利用Chrome的uBlacklist插件。
阅读全文

摘要:
很简单,右击下方终端面板,选中"将视图移动到侧面板",可以看到终端成功显示到右边了。
阅读全文

摘要:
在Maven插件的帮助下,VSCode写Java其实非常方便。这一讲我们介绍如何借助maven用VScode搭建Hadoop开发环境。我们需要下载VSCode的Maven for Java插件,该创建是用来构建Java大型项目的(也就是说不只是使用JRE内部的包,而且使用外包的JDK包。内部的包用java命令编译的时候就会自动帮我们导入,但外部的包要稍微复杂一些,最简单的方式就是使用maven工具了)。
阅读全文

摘要:
只需三步:下载CodeLLDB插件-配置tasks.json-配置launch.json
阅读全文

摘要:
最近在用并行超算云GPU服务器(中国国家网格12区)搭建毕设的环境,这里记录一下。首先,超算云服务器的登录可以采用网页版、也可以采用客户端。需要注意的是,并行超算云只提供windows和mac的客户端,Linux用户可能只有使用网页版的界面了(或者用pappcloud直接远程练ssh用vim写:( 哈哈)。
超算云上最常见的是用module进行包管理。我们可以用module avail命令来查看现有的包。
阅读全文
