文章分类 - script
脚本shell、perl
perl中my与local的区别
摘要：转载：http://blog.sina.com.cn/s/blog_4fcdb9280100l46v.htmlmy: lexically scoped variablelocal:Dynamically scoped variable内部->外部：（1）my和local都只在一个block里有效，出去就失效；（2）但是local的变量可以继续在这个block中调用的子程序中存在；（3）如果有与外界同名的变量，两者在block退出后都不影响外界同名变量；外部->内部：（1）外部设置my、local、缺省均队内有效，但是同名变量外部my，在block内部local是不允许的。因为二者在
阅读全文
Linux上安装Perl模块的两种方法
摘要：Linux/Unix下安装Perl模块有两种方法：手工安装和自动安装。第一种方法是从CPAN上下载 您需要的模块，手工编译、安装。第二种方法是联上internet，使用一个叫做CPAN的模块自动完 成下载、编译、安装的全过程。 a、手工安装的步骤： 从CPAN下载了DBI模块1.13版的压缩文件DBI-1.13.tar.gz，假设放在/usr/local/src/下。 cd /usr/local/src 解压缩这个文件： tar xvzf DBI-1.13.tar.gz 这时会新建一个DBI-1.13的目录。 cd DBI-1.13 生成makefile： perl Makefile.PL .
阅读全文
shell向awk传值
摘要：方法1awk 'pattern { action }' awkvar1=shellvar1 awkvar2=shellvar2 ... input_filesawk_script_file awkvar1=shellvar1 awkvar2=shellvar2 ... input_files这要在pattern或action中就可以使用awkvar1、awkvar2了方法2#!/bin/bashname="Jack White"awk '$1~/"'"$name"'"/ {printf $1&q
阅读全文
perl写入文件时中文乱码终极解决方案
摘要：在用perl写爬虫时，网页内容如果是英文可以正常写入文件，一旦网页中包含中文，文件是全部是乱码。可以网页的meta信息明明写着charset='utf8'，并且我把网页内容直接输出到STDOUT也可以正常显示。尝试了很多方法都不行：open文件时指定utf8编码使用Encode::_to_utf8调用系统命令enca或iconv转码使用Unicode::MapUTF8::to_utf8使用Encode::encode和Encode::decode，即use Encode;print FH encode("utf-8",decode("utf-8&q
阅读全文
消除博客中的代码行号
摘要：有时候从博客上粘贴过来的代码带有行号，删除起来很麻烦。”程度搞定一切“，于是就写了个小脚本来删除每行开头的行号。放在这儿，以备以后再用。 顺便说一下，Perl中的ARGV跟其他语言的有些不一样，比如C++中执行程序的命令本身就属于ARGV数组，而当你执行上面的脚本文件时“perl rmlineno.
阅读全文
perl去除字符串中的空格有问题
摘要：淘宝网页中有下面字符：价 格：我最开始用perl试图去除中间的空格时用s/\s//g，发现根本没反应。淘宝的这个空格不是我们想像中的空格！后来我想是不是编码的问题，因为网页的编码是GBK，而perl默认处理的都是UTF-8，所以转了一下。iconv -f GBK -t UTF-8 file1 -o file2将Google香港的Big5编码转换成GBK编码curl -s http://www.google.com.hk/ | iconv -f big5 -t gbk依旧没反应。实际上perl在处理字符串时读入内存的时候已统一转换成了UTF-8编码，不需要我们劳神费心，只是把字符串处理完输出的.
阅读全文
Perl Bloom::Filter与Web::Scraper
摘要：Bloom::Filter，其最大容量为10,判断某一个元素是否在容器中的最大出错概率为0.001。
Web::Scaper是一组用来提取HTML文档中元素内容的工具集，它能够理解HTML和CSS选择器以及XPath表达式。
阅读全文
Perl Thread
摘要：perldoc threads ---- 英文的... ...网上找不到中文全面介绍的，无奈，哥今天就来翻译一下。<<=========================threads===========================>>#!/usr/bin/perluse threads ('yield', 'stack_size' => 64*4096, 'exit' => 'threads_only', 'stringify');sub start_thread { my
阅读全文
Can't locate Tk.pm
摘要：今天安装Perl的调试工具， Devel-ptkdb-1.1091.tar.gz解压后make test时报错：Can't locate Tk.pm。This's because x11/tk doesn't contain Tk.pm. You need to install x11/p5-Tk.具体怎么做呢？1）sudo apt-get install libx11-dev2）sudo cpan -i Tk ##会自动地从CPAN上下载安装Tk.pm此时还是会报错：make[1]: *** [Xlib_f.o] Error 1make[1]: Leaving dir
阅读全文
Perl解析当当网图书信息页面
摘要：功能描述：首先判断html文件是否为当当图书的页面，不是则不处理把图书标题，价格，作者，出版社等信息抽取出来存入文件perl程序运行命令：perl programfile html_file_list原代码奉上：#!/usr/bin/perluse HTML::Element;use HTML::TreeBuilder;use HTML::Parser;open DATAFH,">>data" || die "open file failed:$!";select DATAFH;foreach my $file_name (@ARGV) {
阅读全文
Perl HTML::TreeBuilder模块讲解
摘要：HTML::TreeBuilder继承自HTML::Parser和HTML::Element，所以下面讲的很多方法实际上源于HTML::Parser和HTML::Element。拿下面这个HTML文件开刀：<html lang='i-klingon'> <head><title>Pati Pata</title></head> <body> <h1 lang='la'>职工</h1> <p lang='es-MX' align='cent
阅读全文
Perl类、CGI和DBI编程
摘要：方法是一种属于类的特殊子例程，要求第一个参数必须是包含或指向对象的引用，并且这个参数是由perl自动隐式赋值的。House.pmpackage House;sub new{ my $class=shift; my $ref={}; bless($ref,$class); return $ref;}sub set_data{ my $self=shift; my $key=shift; my $value=shift; $self->{$key}=$value;}sub get_data{ my $self=shift; my $key=shift; $self->{$key};}1
阅读全文
