08 2022 档案

TGS-GapCloser安装及使用
摘要：TGS代表Third Generation Sequence，TGS-GapCloser可以使用ONT reads、HiFi reads或者是初步组装的contigs进行基因组的gap filling。 此外，该工具可调用racon以及pilon处理原始reads，因此也可以输入三代的raw rea 阅读全文
posted @ 2022-08-31 21:12 pd_liu 阅读(5691) 评论(0) 推荐(0)
GMcloser安装及使用
摘要：GMcloser, a tool that accurately closes genomic gaps with a preassembled contig set or a long read set (i.e., error-corrected PacBio reads). PS：本文采用co 阅读全文
posted @ 2022-08-31 16:43 pd_liu 阅读(388) 评论(0) 推荐(0)
linux前后台任务切换
摘要：有些程序运行时间太长，或者上传下载数据太慢，可以将其从前台运行转入后台。 一、前台转后台 暂停当前任务 [ctrl] + z 查看job号 jobs 可以看到[1]、[2]两个任务已暂停 将2号任务挂到后台运行 bg %2 二、后台转前台 将[1]号任务转入前台 fg %1 使用组合键终止运行 [c 阅读全文
posted @ 2022-08-31 10:16 pd_liu 阅读(440) 评论(0) 推荐(0)
fasta与fastq格式转换常用方式
摘要：fasta与fastq之间格式转换 一、awk命令 #1 awk '{if(NR%4 == 1){print ">" substr($0, 2)}}{if(NR%4 == 2){print}}' XXX.fastq > XXX.fasta #2 awk 'NR%4==1||NR%4==2' self 阅读全文
posted @ 2022-08-31 09:19 pd_liu 阅读(2514) 评论(0) 推荐(1)
Linux统计文件数量
摘要：使用一套ls、grep、wc组合拳，结合管道符，查询文件、文件夹数目。 一、ls使用-l参数，以便于统计 统计当前目录下文件个数 ls -l | grep "^-" | wc -l 统计当前目录下文件夹个数 ls -l | grep "^d" | wc -l 二、增加使用-R参数时，会递归列出文件树 阅读全文
posted @ 2022-08-31 08:45 pd_liu 阅读(948) 评论(0) 推荐(0)
PBJelly安装及使用
摘要：PBJelly是一款用于基因组Gap filling的软件，通过将三代reads比对到sccofolds进行连接补洞。Github地址：PBJelly。 一、安装#创建Python环境，python=2.7 conda create -n python2.7 python=2.7 #配置依赖包 co 阅读全文
posted @ 2022-08-30 20:51 pd_liu 阅读(569) 评论(0) 推荐(0)
NECAT安装及使用
摘要：NECAT，一款适合ONT Reads的组装工具，能够实现gap-free或者near gap-free的组装水平。配置好config文件后，NECAT的使用相当方便。Gihub地址：NECAT 一、安装 此处使用的2019年的版本 wget https://github.com/xiaochuan 阅读全文
posted @ 2022-08-30 14:14 pd_liu 阅读(522) 评论(0) 推荐(0)
使用nohup后台挂起执行命令
摘要：使用nohup后台挂起执行命令，即使终端退出也不会导致运行程序中断。适用于服务器上跑程序。默认情况下会输出nohup.out文件。 一、用法说明如下 nohup [Command] [ Arg … ] & 其中command为要执行的命令；Arg为一些参数设置，可通过重定向设置输出位置；&使命令在后 阅读全文
posted @ 2022-08-27 17:36 pd_liu 阅读(1182) 评论(0) 推荐(0)
linux输出文件名（不带后缀）
摘要：在ncbi上传数据时，需要填写biosample_name，通过shell命令快速输出样本名称。 一、通过如下命令提取指定后缀的去后缀文件名 for i in *_1.fq.gz;do basename $i '_1.fq.gz';done #遍历当前目录下的所有带_1.fq.gz后缀的文件，输出不 阅读全文
posted @ 2022-08-27 15:28 pd_liu 阅读(1438) 评论(0) 推荐(0)
使用find命令查询输出目录下特定文件名
摘要：由于上传ncbi填写文件名时，二代测序的paired reads文件需要分开file1、file2填写，而单个样本由*_1.fq.gz以及*_2.fq.gz组成因此需要分开输出对应文件名以便复制拷贝到表格中填写。 下图所示如样本AQ2由AQ2_1.fq.gz以及AQ2_2.fq.gz组成 使用fin 阅读全文
posted @ 2022-08-27 15:09 pd_liu 阅读(227) 评论(0) 推荐(0)
使用AWK命令输出文件特定行列
摘要：利用AWK命令进行各种类型输出，在处理生信数据时，使用AWK命令会非常方便，省去很多编写脚本处理数据的时间。 一、使用man命令查看awk使用说明 二、练习使用AWK命令输出对应行列文件 输出文件第一列 awk '{print $1}' /Users/liuxin/Desktop/md5.txt 输 阅读全文
posted @ 2022-08-27 14:24 pd_liu 阅读(3241) 评论(0) 推荐(0)
linux服务器挂载以及卸载硬盘
摘要：由于linux一切设备通过文件形式管理，因此linux服务器上插入硬盘并不像windows会图形化显示硬盘位置，在服务器上需要挂载硬盘到用户文件下才可以正常使用。在拔出磁盘之前也需要响应的卸载操作。 一、查询硬盘位置 sudo fdisk -l 其中Size为4.7T的是我插入的硬盘，所在路径为/d 阅读全文
posted @ 2022-08-26 22:12 pd_liu 阅读(1313) 评论(0) 推荐(0)
linux创建vlookup脚本比对查询文本
摘要：功能：在a中查询b。 通过vim创建vlookup.sh脚本 #!/bin/bash awk 'NR==FNR{a[$1]=$0;next}NR>FNR{if($1 in a)print $0"\t"a[$1]}' $1 $2 >vlookup_result 激活脚本 chmod u+x vlook 阅读全文
posted @ 2022-08-26 22:02 pd_liu 阅读(310) 评论(0) 推荐(0)
Python脚本批量计算文件md5值
摘要：最近需要整理重测序文件上传至NCBI，需要批量计算文件md5值。于是有了这篇随笔记录。 将以下代码保存，修改path设置为需要修改的文件夹的绝对路径，即可使用 #coding=utf-8 #代码含有中文注释，第一行代码不可删除，否则某些系统会导致报错 #该py脚本用于批量处理单个文件夹下大文件的md 阅读全文
posted @ 2022-08-26 19:16 pd_liu 阅读(897) 评论(0) 推荐(0)
安装并使用SnpEff注释
摘要：SnpEff is a variant annotation and effect prediction tool. It annotates and predicts the effects of genetic variants (such as amino acid changes). 一、安 阅读全文
posted @ 2022-08-23 16:58 pd_liu 阅读(1472) 评论(0) 推荐(0)
SHELL控制命令汇总
摘要：#快速向前/向后删除错误指令串 [ctrl]+u/[ctrl]+k #光标控制快速向最前/向最后 [ctrl]+a/[ctrl]+e #快速清屏，效果等于clear [ctrl]+l #输出当前shell程式类型 echo $SHELL #输出上一个指令是否成功执行，成功执行返回0 echo $? 阅读全文
posted @ 2022-08-21 23:49 pd_liu 阅读(99) 评论(0) 推荐(0)
Mac终端配置实现自动登录远程服务器
摘要：使用vim创建脚本文件 vim shellname 将如下代码拷贝其中，修改对应用户名、IP、密码、端口号，并保存 #!/usr/bin/expect -f set user 服务器账号用户名 set host 服务器IP set password 用户密码 set timeout -1 spawn 阅读全文
posted @ 2022-08-21 19:19 pd_liu 阅读(383) 评论(0) 推荐(0)
VCF文件格式信息
摘要：更多VCF格式详细信息参见http://samtools.github.io/hts-specs/VCFv4.2.pdf ##为header line，注释信息 #为data line，表头信息： CHROM - chromosome POS - position ID - identifier R 阅读全文
posted @ 2022-08-21 16:28 pd_liu 阅读(83) 评论(0) 推荐(0)
使用 RepeatMasker + RepeatModeler 完成重复序列注释
摘要：一、使用RepeatMasker进行基因组重复序列注释 1、安装conda2、预选安装依赖库包，安装RepeatMasker，下载Repbase并解压至～/RepeatMasker/Libraries目录下面，配置./configure，完成。设置环境变量PATH，或者绝对路径使用RepeatMas 阅读全文
posted @ 2022-08-20 23:01 pd_liu 阅读(1924) 评论(0) 推荐(0)
conda安装、配置以及常见命令使用大全（linux）
摘要：一、conda安装 wget -c https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh chmod 777 Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-la 阅读全文
posted @ 2022-08-20 21:49 pd_liu 阅读(1582) 评论(0) 推荐(0)
基于Pysam进行SAM/BAM文件数据统计
摘要：参考《Bioinfomatics Data Skill》第414页 一、首先安装pysam $ pip install pysam 二、编写程序统计比对数据 以下代码具有一定参考价值，不如samtools stats直接好用。若是需要单独统计特殊信息，以下代码逻辑/框架具有一定参考价值。 impor 阅读全文
posted @ 2022-08-20 17:36 pd_liu 阅读(475) 评论(0) 推荐(0)
SAMtools命令行使用大全
摘要：samtools详细的manual page见http://www.htslib.org/doc/ SAM文件格式参数详见http://samtools.github.io/hts-specs/SAMv1.pdf以及http://genome.sph.umich.edu/wiki/SAM 一般使用s 阅读全文
posted @ 2022-08-20 17:14 pd_liu 阅读(2530) 评论(0) 推荐(0)