随笔分类 - Linux和Shell编程
摘要：## 环境依赖 ``` sudo yum update -y && \ yum groupinstall -y 'Development Tools' && \ yum install -y \ openssl-devel \ libuuid-devel \ libseccomp-devel \ w
阅读全文
摘要：登录 客户数据分享： 连接登录： sftp -o port=xxxx username@remote_ip 上传 上传文件 把本地服务器的/www/wwwroot目录下面的study.log文件上传到远程服务器的/www/server目录下。 sftp> lcd /www/wwwroot sftp>
阅读全文
摘要：Xshell是我用过最好的终端访问服务器的软件，搭配Xftp文件传输，体验很好。不过6及以后版本就收费了，虽然对于学校和家庭使用可以免费，但每次都要强制升级。 Xshell6最多支持4个session。Xshell7可以无限session，但vim编辑文本时，无法通过鼠标回滚到命令行，从而无法复制命
阅读全文
摘要：问题 之前的conda环境好好地，最近不知为何被破坏了，运行即报错： /miniconda3/opt/lib/R/bin/exec/R: /miniconda3/opt/lib/R/bin/exec/../../lib/../../libgomp.so.1: version `GOMP_4.0' n
阅读全文
摘要：问题 宿主机网络正常，能ping通。但进入docker容器后，无法ping通，yum任何东西都报如下错误： [root@a4742adb2225 yum.repos.d]# yum install vim Loaded plugins: fastestmirror, ovl Could not re
阅读全文
摘要：问题 Linux环境下，使用conda成功安装了R4。但提示‘utils’和‘stats’包未找到，如下： R version 4.1.3 (2022-03-10) -- "One Push-Up" Copyright (C) 2022 The R Foundation for Statistica
阅读全文
摘要：创建一个新用户，并配置使用。 create_usr.sh： #/usr/bin/bash user=$1 password="123" useradd ${user} -g meta -d /ifs4/meta/${user}; echo $password| passwd --stdin ${us
阅读全文
摘要：两台服务器间文件如何传输？对于小文件，可以先从Linux服务器传到window，再传到另一台服务器。对于大的文件，如测序数据、比对文件等。这样的方法显然太笨。 scp一个命令就能解决。 一、上传 常规操作 从当前服务器上传到另一个服务器。 # 文件 $ scp file yourname@192.1
阅读全文
摘要：用过很多服务器，但一直没自己挂载过磁盘，因为待挂载的磁盘上都有数据，生怕一不小心把别人的弄坏了。 今天恰好有几块新的磁盘，供我尝试下。 首先查看下磁盘： $ df -h 文件系统 容量 已用 可用 已用% 挂载点 /dev/mapper/centos-root 5.4T 6.6G 5.4T 1% /
阅读全文
摘要：问题来源 我有两个文件，一个是plink过滤后得到的.fam文件（空格分隔）；另一个是样本对应关系文件（tab分隔）。 文件1： 文件2： 两个文件匹配，awk常规操作。这里我想要保留文件2中和文件1第一二列匹配得到的样本（匹配后文件2的第一列）。当然这里两个文件数目是一样的，所以应该全部匹配才对（
阅读全文
摘要：需求 客户反映，完整的基因组太大打不开，要我将之按各条染色体和scaffold拆分。如何快速实现？ 方法一 借助工具： $ pip install pyfaidx $ faidx -x sequences.fa 方法二 自己写脚本：split.pl #!/usr/bin/perl $f = $ARG
阅读全文
摘要：需求 已知某基因组序列，染色体或scaffold ID顺序不定，想要对其按数字排序。 原顺序： 想要的排序结果： 实现 使用bioawk，没有的话conda直接安装。 bioawk -c fastx '{print}' old.genome.fa | \ sort -k1,1V | awk '{pr
阅读全文
摘要：需求 客户的一个简单需求： 我有一批功能基因位点，想从重测序的群体材料中找到这些位点，如何批量快速获得？ 示例文件 gene.txt test.vcf 代码实现 run.sh cat $1 |while read gene chr from to do #echo $chr $from $to if
阅读全文
摘要：ln -s 改成 ln -sf f在很多软件的参数中意味着force ln -sf /usr/bin/bazel-1.0.0 /usr/bin/bazel
阅读全文
摘要：下了一些sra数据库中的公共数据，因为pretech和aspera不稳定，稍微大点的文件经常传断，部分文件我只能通过本地下载再上传。 那么问题来了，sra没有md5校验，我怎么知道我数据的完整性，尤其是通过本地下载的那些数据？ 网上查了下是说，sra是自带md5校验的（The SRA archive
阅读全文
摘要：前言 虽然我的win版本R已经用4了，但之前在Linux环境一直没用R4.0，因为Linux涉及的东西太多，担心不稳定，牵一发而动全身。 但现在有好些R包必须要用更新到R4.0以上才能用了（主要是Rcpp版本太低），有的包本身升级时也要考虑不同版本的R，不更新一些函数功能用不了。 今天又碰到了这个问
阅读全文
摘要：前提是gz文件超大，如上百G，肯定不能直接解压来做。 不解压情况下获取gz超大文件的前/后几行？ gzip -cd test.gz |head -100 gzip -cd test.gz |tail -100 Perl读入gz文件操作？ use PerlIO::gzip; open IN,"<:gz
阅读全文
摘要：搭建流程时，我们把各个模块脚本都写好了，现在通过编写主程序将模块串起来，那么怎么样依次（或者并行）将任务自动投递到集群呢？就是说这一步运行完之后，下一步自动运行。我们当然可以在脚本中设一个标志，反复检查这一个标志是否出现来决定是否运行下一步，但这种方法太原始，太多弊端了，耗内存，无法并行，且不可预料
阅读全文
摘要：0. 一些基本概念 计算机集群：高性能集群(High Performance Computing，简称HPC)是一组松散或紧密连接在一起工作的计算机。由于这些计算机协同工作，在许多方面它们可以被视为单个系统。集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得
阅读全文
