并行计算的强大

最近在处理一批数据，10的8次方，处理完毕大概要一个月，并且这个程序占用的CPU只有一个（我从来没有注意到这个问题啊啊啊）。

突然师兄提醒我可以把10的8次方条数据拆成10个10的7次方，作为10条任务并行处理，我艹，三天就跑完了啊，坑爹呢这是我之前怎么没想到呢混蛋！！

 

以后单任务的程序一定要注意下CPU的使用情况。

 

并行处理也有个简单的方法，就是把原始文件给切割后提交，让队列调度程序给你并行调度就ok了。大家不要拍砖啊，这个玩意儿还是挺有用处的。

下面这个破脚本，哦，是perl脚本，用来切割文件的。我这里讲某个文件切割成，每4000条数据一个文件，每1000个文件一个文件夹，闲话少说，上酸菜：

Perl代码  收藏代码
  1. #!/usr/bin/perl -w  
  2. # Program name: filter_pro.pl  
  3. # Author      : bbsunchen  
  4. # Contact     : bbsunchen at gm*il.com  
  5. # Date        : 11/10/2011  
  6. # Last Update : 11/10/2011  
  7. # Reference   : Please cite our following papers when you are using this script.  
  8.   
  9. # Description :   
  10.   
  11. #===============================================================================================================  
  12. use warnings;  
  13. use strict;  
  14. use Getopt::Long;  
  15. use Cwd qw(abs_path);  
  16. use File::Basename qw(dirname);  
  17.   
  18. my %opts;  
  19. GetOptions(\%opts,"dir:s");  
  20. my $usage= <<"USAGE";  
  21.     Program: $0  
  22.     INPUT:  
  23.         -dir        full path of file  
  24.   
  25.     OUTPUT:  
  26. USAGE  
  27. die $usage unless ($opts{dir} && -e $opts{dir});  
  28.   
  29. my $cwd;  
  30. if ($opts{dir} =~ m{^/})  
  31. {  
  32.   $cwd = dirname($opts{dir});  
  33. }  
  34. else  
  35. {  
  36.   $cwd = dirname(abs_path($opts{dir}));  
  37. }  
  38. open DIR, $opts{dir};  
  39. my $seq_num = 0;  
  40. my $title = "";  
  41. my $data = "";  
  42. while(<DIR>)  
  43. {  
  44.     $seq_num++;  
  45.     if($seq_num % 2 != 0)  
  46.     {  
  47.         $title = $_;  
  48.         next;  
  49.     }else  
  50.     {  
  51.         $data = $_;   
  52.     }  
  53.     my $decide_path = 0;  
  54.     if($seq_num % 2 == 0)  
  55.     {  
  56.         $decide_path = $seq_num / 2;   
  57.     }else  
  58.     {  
  59.         $decide_path = int($seq_num / 2) + 1;  
  60.     }  
  61.       
  62.     my $file_name = int($decide_path / 4000);  
  63.     my $path_name = int($file_name / 1000);  
  64.     my $temp_path = "$cwd/$path_name";  
  65.     mkdir $temp_path,0775 unless (-e "$temp_path");  
  66.     die $! unless ($opts{dir} && -e $opts{dir});  
  67.     open OUT, ">> $temp_path/$file_name.fa";  
  68.     print OUT $title;  
  69.     print OUT $data;  
  70.     close OUT;  
  71. }  
  72. close DIR; 

posted @ 2012-05-06 13:49  j2ee技术  阅读(183)  评论(0)  编辑  收藏  举报