弗雷赛斯 - 博客园

2017年9月15日

摘要：导出Feature/OTU表 wget -O feature-table.qza https://data.qiime2.org/2017.7/tutorials/exporting/feature-table.qza qiime tools export \ feature-table.qza \ 阅读全文

posted @ 2017-09-15 17:30 弗雷赛斯阅读(1685) 评论(0) 推荐(0) 编辑

扩增子分析QIIME2-2数据导入Importing data

摘要：导入带质量值的测序数据地球微生物组标准混样单端数据 “EMP protocol” multiplexed single-end fastq 此类数据标准包括两个文件，扩展名均为fastq.gz，一个是barcode文件，一个是样品混样测序文件。 # 建样品目录 mkdir -p emp-singl 阅读全文

posted @ 2017-09-15 14:16 弗雷赛斯阅读(4920) 评论(0) 推荐(0) 编辑

扩增子分析QIIME2-1简介和安装

摘要： QIIME2是微生物组分析流程QIIME(截止17.7.13被引7771次)的全新版(不是升级版)，采用python3全新编写，并于2018年1月全面接档QIIME，是代表末来的分析方法标准(大牛们制定方法标准，我们跟着用就好了)。安装安装方法比较简单，参照官网：https://docs.qii 阅读全文

posted @ 2017-09-15 08:51 弗雷赛斯阅读(2566) 评论(0) 推荐(1) 编辑

2017年9月6日

GEO/SRA数据库

摘要： GEO数据库 GEO数据库隶属于NCBI，是最大最全面的基因表达数据库，主要是芯片和转录组测序数据。除储存数据外，也提供一些数据挖掘工具，因此利用好这个数据库，没有实验，没有自己的数据也能发好文章！ https://www.ncbi.nlm.nih.gov/geo/ SRA文件的存放从NCNI的这阅读全文

posted @ 2017-09-06 13:51 弗雷赛斯阅读(3666) 评论(0) 推荐(0) 编辑

2017年9月5日

比对工具

摘要： (green) short pairwise alignment / detailed edit model; (yellow) database search / divergent homology detection; (red) whole genome alignment / alignm 阅读全文

posted @ 2017-09-05 00:23 弗雷赛斯阅读(1123) 评论(0) 推荐(0) 编辑

2017年9月4日

NGS数据格式介绍

摘要：一般情况下，从Illumina平台上得到的测序，其数据格式是Fastq格式，可以称之为原始数据（Raw data）。事实上直接的下机数据是显微拍摄得到的图像信息。但是一般都会用Bcl2Fastq软件将图像信息转化成Fastq文件。如果测序是SE：则只有一个fastq文件，如果是PE测序，则得到两个阅读全文

posted @ 2017-09-04 23:16 弗雷赛斯阅读(3808) 评论(1) 推荐(0) 编辑

2017年9月3日

tee命令用法

摘要：用途说明在执行Linux命令时，我们可以把输出重定向到文件中，比如 ls >a.txt，这时我们就不能看到输出了，如果我们既想把输出保存到文件中，又想在屏幕上看到输出内容，就可以使用tee命令了。tee命令读取标准输入，把这些内容同时输出到标准输出和（多个）文件中。要注意的是：在使用管道线时，前一阅读全文

posted @ 2017-09-03 22:26 弗雷赛斯阅读(1483) 评论(0) 推荐(0) 编辑

2017年8月30日

R语言学习 - 线图一步法

摘要：首先把测试数据存储到文件中方便调用。数据矩阵存储在line_data.xls和line_data_melt.xls文件中 (直接拷贝到文件中也可以，这里这么操作只是为了随文章提供个测试文件，方便使用。如果你手上有自己的数据，也可以拿来用)。 profile = "Pos;H3K27ac;CTCF;E 阅读全文

posted @ 2017-08-30 22:44 弗雷赛斯阅读(963) 评论(0) 推荐(0) 编辑

R语言学习 - 箱线图（小提琴图、抖动图、区域散点图）

摘要：箱线图箱线图是能同时反映数据统计量和整体分布，又很漂亮的展示图。在2014年的Nature Method上有2篇Correspondence论述了使用箱线图的好处和一个在线绘制箱线图的工具。就这样都可以发两篇Nature method，没天理，但也说明了箱线图的重要意义。下面这张图展示了Bar 阅读全文

posted @ 2017-08-30 19:13 弗雷赛斯阅读(17406) 评论(0) 推荐(0) 编辑

R语言学习 - 线图绘制

摘要：线图是反映趋势变化的一种方式，其输入数据一般也是一个矩阵。单线图假设有这么一个矩阵，第一列为转录起始位点及其上下游5 kb的区域，第二列为H3K27ac修饰在这些区域的丰度，想绘制一张线图展示。 profile="Pos;H3K27ac -5000;8.7 -4000;8.4 -3000;8.3 阅读全文

posted @ 2017-08-30 17:49 弗雷赛斯阅读(8114) 评论(0) 推荐(1) 编辑

R语言学习 - 热图美化

摘要：实际应用中，异常值的出现会毁掉一张热图。这通常不是我们想要的。为了更好的可视化效果，需要对数据做些预处理，主要有对数转换，Z-score转换，抹去异常值，非线性颜色等方式。对数转换为了方便描述，假设下面的数据是基因表达数据，4个基因 (a, b, c, d)和5个样品 (Grp_1, Grp_2 阅读全文

posted @ 2017-08-30 01:11 弗雷赛斯阅读(5126) 评论(0) 推荐(0) 编辑

2017年8月28日

R语言学习 - 热图简化

摘要：绘制热图除了使用ggplot2，还可以有其它的包或函数，比如pheatmap::pheatmap (pheatmap包中的pheatmap函数)、gplots::heatmap.2等。相比于ggplot2作heatmap, pheatmap会更为简单一些，一个函数设置不同的参数，可以完成行列聚类、阅读全文

posted @ 2017-08-28 17:03 弗雷赛斯阅读(3365) 评论(0) 推荐(0) 编辑

2017年8月27日

R中矩阵运算

摘要： # 数据产生 # rnorm(n, mean = 0, sd = 1) 正态分布的随机数（r 代表随机，可以替换成dnorm, pnorm, qnorm 作不同计算。r= random = 随机， d= density = 密度， p= probability = 概率， q =quantile 阅读全文

posted @ 2017-08-27 22:22 弗雷赛斯阅读(1274) 评论(0) 推荐(0) 编辑

R语言学习 - 热图绘制heatmap

摘要：生成测试数据绘图首先需要数据。通过生成一堆的向量，转换为矩阵，得到想要的数据。 data <- c(1:6, 6:1, 6:1, 1:6, (6:1)/10, (1:6)/10, (1:6)/10, (6:1)/10, 1:6, 6:1, 6:1, 1:6, 6:1, 1:6, 1:6, 6:1) 阅读全文

posted @ 2017-08-27 17:35 弗雷赛斯阅读(34127) 评论(0) 推荐(0) 编辑

2017年8月26日

Linux文件排序和FASTA文件操作

摘要：文件排序 seq: 产生一系列的数字; man seq查看其具体使用。我们这使用seq产生下游分析所用到的输入文件。 # 产生从1到10的数，步长为1 $ seq 1 10 1 2 3 4 5 6 7 8 9 10 # 产生从1到10的数，步长为1，用空格分割 $ seq -s ' ' 1 10 1 阅读全文

posted @ 2017-08-26 21:38 弗雷赛斯阅读(3683) 评论(0) 推荐(0) 编辑

2017年8月25日

Linux终端常用快捷操作

摘要：命令或文件名自动补全：在输入命令或文件名的前几个字母后，按Tab键，系统会自动补全或提示补全上下箭头：使用上下箭头可以回溯之前的命令，增加命令的重用，减少输入工作量 !加之前输入过的命令的前几个字母，快速获取前面的命令 $ cut -f 1 -d ' ' ehbio.fa | tail -n 4 阅读全文

posted @ 2017-08-25 23:42 弗雷赛斯阅读(434) 评论(0) 推荐(0) 编辑

Linux命令运行监测和软件安装

摘要：监测命令的运行时间 time command $ time sleep 5 real 0m5.003s # 程序开始至结束的时间，包括其它进程占用的时间片和IO时间 user 0m0.001s # 进程真正执行占用CPU的时间 sys 0m0.002s # 进程在内核中调用所消耗的CPU时间 use 阅读全文

posted @ 2017-08-25 03:49 弗雷赛斯阅读(985) 评论(0) 推荐(0) 编辑

环境变量

摘要：通俗的讲，环境变量就是告诉电脑 (实际是操作系统)几个目录。这几个目录下存储几个执行文件，如前面显示的/usr/bin目录，大部分的系统命令都在这个目录下。当我们输入命令mkdir时，系统就会在环境变量所代表的几个目录从前到后去查找，哪个里面有mkdir文件，然后去执行mkdir命令。系统中环境阅读全文

posted @ 2017-08-25 01:57 弗雷赛斯阅读(492) 评论(0) 推荐(1) 编辑

2017年8月24日

扩增子分析解读7物种分类统计筛选进化树和其它

摘要：分析前准备 # 进入工作目录 cd example_PE250 上一节回顾：我们获得了OTU序列的进化分析、同时计算Alpha和Beta多样性值。本节是最后一节，我们对物种进行分类统计，筛选高丰度结果用于进化树展示，和其它用于R统计分析的结果生成 19. 按物种分类级别分类汇总 OTU表中最重要的阅读全文

posted @ 2017-08-24 01:14 弗雷赛斯阅读(1683) 评论(0) 推荐(0) 编辑

2017年8月23日

R函数详解

摘要：字符串连接函数paste 1、字符串连接：paste(..., sep = " ", collapse = NULL)sep表示分隔符，默认为空格。collapse表示如果不指定值，那么函数paste的返回值是自变量之间通过sep指定的分隔符连接后得到的一个字符型向量；如果为其指定了特定的值，那么自阅读全文

posted @ 2017-08-23 23:42 弗雷赛斯阅读(1716) 评论(0) 推荐(0) 编辑

扩增子统计绘图1箱线图：Alpha多样性

摘要：绘制Alpha多样性线箱图绘图和统计全部为R语言，建议复制代码，在Rstuido中运行，并设置工作目录为存储之前分析结果文件的result目录 # 运行前，请在Rstudio中菜单栏选择“Session - Set work directory -- Choose directory”，弹窗选择之阅读全文

posted @ 2017-08-23 21:54 弗雷赛斯阅读(3396) 评论(0) 推荐(0) 编辑

扩增子分析解读6进化树 Alpha Beta多样性

摘要：分析前准备 # 进入工作目录 cd example_PE250 上一节回顾：我们的OTU获得了物种注释，并学习OTU表的各种操作————添加信息，格式转换，筛选信息。接下来我们学习对OTU序列的进化分析、同时计算Alpha和Beta多样性值。 16. 进化树构建进化树是基于多序列比对的结果，可展阅读全文

posted @ 2017-08-23 21:54 弗雷赛斯阅读(2202) 评论(0) 推荐(0) 编辑

扩增子分析解读5物种注释 OTU表操作

摘要：本节课程，需要先完成《扩增子分析解读》系列之前的操作 1质控实验设计双端序列合并 2提取barcode 质控及样品拆分切除扩增引物 3格式转换去冗余聚类 4去嵌合体非细菌序列生成代表性序列和OTU表分析前准备 # 进入工作目录 cd example_PE250 上一节回顾：我们学习了阅读全文

posted @ 2017-08-23 21:31 弗雷赛斯阅读(6408) 评论(0) 推荐(0) 编辑

2017年8月22日

扩增子分析解读4去嵌合体非细菌序列生成代表性序列和OTU表

摘要：本节课程，需要先完成扩增子分析解读1质控实验设计双端序列合并 2提取barcode 质控及样品拆分切除扩增引物 3格式转换去冗余聚类先看一下扩增子分析的整体流程，从下向上逐层分析分析前准备 # 进入工作目录 cd example_PE250 上一节回顾：我们制作了Usearch要求格阅读全文

posted @ 2017-08-22 00:54 弗雷赛斯阅读(4777) 评论(0) 推荐(0) 编辑

2017年8月21日

扩增子分析解读3格式转换去冗余聚类

摘要：本节课程，需要完成扩增子分析解读1质控实验设计双端序列合并和2提取barcode 质控及样品拆分切除扩增引物先看一下扩增子分析的整体流程，从下向上逐层分析分析前准备 # 进入工作目录 cd example_PE250 上一节回顾：我们提取barcode，质控及样品拆分，切除扩增引物，经历了阅读全文

posted @ 2017-08-21 19:35 弗雷赛斯阅读(2795) 评论(0) 推荐(0) 编辑

扩增子分析解读2提取barcode 质控及样品拆分切除扩增引物

摘要：本节课程，需要完成扩增子分析解读1质控实验设计双端序列合并先看一下扩增子分析的整体流程，从下向上逐层分析分析前准备 # 进入工作目录 cd example_PE250 上一节回顾：我们拿到了双端数据，进行了质控、并对实验设计进行了填写和检查、最后将双端数据合并为单个文件进行下游分析。接下来阅读全文

posted @ 2017-08-21 06:27 弗雷赛斯阅读(5607) 评论(0) 推荐(0) 编辑

执行join_paired_ends.py报错Cannot find fastq-join

摘要：通过 conda 安装 qiime 1后，在执行join_paired_ends.py时报错： burrito.util.ApplicationNotFoundError: Cannot find fastq-join. Is it installed? Is it in your path? 这是阅读全文

posted @ 2017-08-21 04:30 弗雷赛斯阅读(1610) 评论(0) 推荐(0) 编辑

扩增子分析解读1质控实验设计双端序列合并

摘要：本文采用目前最主流的扩增子测序数据类型HiSeq2500 PE250类型数据为例，结合目前主流方法QIIME+USearch定制的分析流程。本课程中所需的测序数据、实验设计和课程分析生成的中间文件，均可以直去百度云下载。链接：http://pan.baidu.com/s/1hs1PXcw 密码：y3 阅读全文

posted @ 2017-08-21 04:21 弗雷赛斯阅读(5299) 评论(0) 推荐(0) 编辑

2017年8月20日

Docker方式安装QIIME 2

摘要： # 下载最新版QIIME 2 docker pull qiime2/core:2017.7 # 测试是否安装成功 docker run -t -i -v $(pwd):/mnt/hgfs/2017 qiime2/core:2017.7 qiime # 启动docker命令行，挂载目录至/mnt/hg 阅读全文

posted @ 2017-08-20 06:56 弗雷赛斯阅读(1977) 评论(0) 推荐(0) 编辑

2017年8月19日

lsb_release No LSB modules are available

摘要： lsb_release 提示： No LSB modules are available 执行： sudo apt-get install lsb-core 阅读全文

posted @ 2017-08-19 22:27 弗雷赛斯阅读(2335) 评论(0) 推荐(0) 编辑

2017年8月16日

转录组入门(5)：序列比对

摘要：任务列表比对软件 hisat2的用法下载index文件比对、排序、索引质量控制载入IGV，截图几个基因 hisat2的用法本作业是比对到基因组，所以使用gapped or splices mapper，此流程已经更新。TopHat首次被发表已经是7年前，STAR的比对速度是TopHat的阅读全文

posted @ 2017-08-16 22:18 弗雷赛斯阅读(1934) 评论(0) 推荐(0) 编辑

2017年8月14日

Shell文件包含

摘要：创建两个 shell 脚本文件。 test1.sh 代码如下： #!/bin/bash url="http://www.cnblogs.com/freescience" test2.sh 代码如下： #!/bin/bash #使用 . 号来引用test1.sh 文件 . ./test1.sh # 或阅读全文

posted @ 2017-08-14 08:53 弗雷赛斯阅读(519) 评论(0) 推荐(0) 编辑

2017年8月11日

转录组入门(4)：了解参考基因组及基因注释

摘要：任务列表 1.在UCSC下载hg19参考基因组； 2.从gencode数据库下载基因注释文件，并且用IGV去查看感兴趣的基因的结构，比如TP53，KRAS，EGFR等等。 3.截图几个基因的IGV可视化结构 4.下载ENSEMBL，NCBI的gtf，也导入IGV看看，截图基因结构 5.了解IGV常识阅读全文

posted @ 2017-08-11 01:00 弗雷赛斯阅读(7843) 评论(0) 推荐(0) 编辑

VMware 12虚拟机下Ubuntu 16连不上网解决方法

摘要：打开自带Firefox浏览器，显示连接不上网，终端下 ping 也显示 unkown 解决方法： 1.打开虚拟机的“编辑”选项，选择“虚拟网络编辑器” 2.选择VMnet8（我不知道为啥VMnet8这么神奇，要是新建其他号还不行，暂且不管），点击右下角“更改设置” 3.同时打开 Windows下面的阅读全文

posted @ 2017-08-11 00:52 弗雷赛斯阅读(437) 评论(0) 推荐(0) 编辑

2017年8月10日

Shell输入/输出重定向

摘要：输出重定向重定向一般通过在命令间插入特定的符号来实现。特别的，这些符号的语法如下所示 command1 >file1 上面这个命令执行command1然后将输出的内容存入file1。注意任何file1内的已经存在的内容将被新内容替代。如果要将新内容添加在文件末尾，请使用>>操作符。实例执行下阅读全文

posted @ 2017-08-10 13:26 弗雷赛斯阅读(359) 评论(0) 推荐(0) 编辑

2017年8月8日

Shell函数

摘要：下面的例子定义了一个函数并进行调用： #!/bin/bash demoFun(){ echo "这是我的第一个 shell 函数!" } echo " 函数开始执行 " demoFun echo " 函数执行完毕 " 输出结果：函数开始执行这是我的第一个 shell 函数! 函数执行完毕下面定阅读全文

posted @ 2017-08-08 22:41 弗雷赛斯阅读(297) 评论(0) 推荐(0) 编辑

Shell流程控制

摘要：和Java、PHP等语言不一样，sh的流程控制不可为空 if else if 语句语法格式： if condition then command1 command2 ... commandN fi 写成一行（适用于终端命令提示符）： if [ $(ps -ef | grep -c "ssh") -g 阅读全文

posted @ 2017-08-08 22:22 弗雷赛斯阅读(219) 评论(0) 推荐(0) 编辑

Shell printf命令

摘要： Shell 的另一个输出命令 printf。默认 printf 不会像 echo 自动添加换行符，我们可以手动添加 \n。 #!/bin/bash printf "%-10s %-8s %-4s\n" 姓名性别体重kg printf "%-10s %-8s %-4.2f\n" 郭靖男 66.1 阅读全文

posted @ 2017-08-08 22:09 弗雷赛斯阅读(264) 评论(0) 推荐(0) 编辑

Shell test命令

摘要： Shell中的 test 命令用于检查某个条件是否成立，它可以进行数值、字符和文件三个方面的测试 num1=100 num2=100 if test $[num1] -eq $[num2] then echo '两个数相等！' else echo '两个数不相等！' fi 输出结果：两个数相等！阅读全文

posted @ 2017-08-08 21:43 弗雷赛斯阅读(250) 评论(0) 推荐(0) 编辑

Shell echo命令

摘要：显示变量 read 命令从标准输入中读取一行，并把输入行的每个字段的值指定给 shell 变量 #!/bin/sh read name echo "$name It is a test" 以上代码保存为 test.sh，name 接收标准输入的变量，结果将是： [root@www ~]# sh te 阅读全文

posted @ 2017-08-08 21:12 弗雷赛斯阅读(260) 评论(0) 推荐(0) 编辑

弗雷塞斯

从生物学到生物信息学到机器学习

公告