Shell--基础知识
变量的定义:
- a=1
- b=hello
- c="hello world !"
- d='hello "反启" !'
- e=`ls` (注意:这是反引号)
备注:=号左右不能有空格;如果内容有空格需要使用单引号或者双引号;双引号支持转译 $开头的变量会被自动替换
变量替换:
${value:-word}:如果变量名存在且非null,返回变量值;否则,返回word字符串
用途:如果变量未定义,则返回默认值
${value:=word}:如果变量名存在且非null,返回变量值;否则,设置这个变量值为word
用途:如果变量未定义,,则设置变量为默认值,并返回默认值
${value:?"not defined"}:如果变量名存在且非null,返回变量值;否则显示“not defined”,并退出当前命令或脚本。
用途:用于捕捉由于变量未定义而导致的错误,并退出程序。
${value:+word}:如果变量名存在且非null,返回word,否则返回null。
用途:测试变量是否存在。
变量的使用:
echo $a
echo ${a}
echo "$a"
备注:使用$var 或 ${var}来访问变量,后者更为严谨,$var_x和${var}_x是不同的;变量不需要定义也可以使用,引用未定义的变量,默认为空值。
预定义变量:
- echo $USER
- echo $PWD
- echo $PATH
- echo $HOME
数组变量:
array=(1 2 3 4 5)
array=(`ls`)
打印数组第一个元素:echo ${array[0]}
打印数组:echo ${array[@]} 或 echo ${array[*]}
打印数组长度:echo ${#array[@]}
备注:使用()来定义数组
特殊符号的使用:
- 双引号用于括起一段字符串值,支持$var形式得变量替换
- 单引号也表示其内容是字符串值,不支持转义
- \反斜杠,某些情况下表示转义
- $(ls) 表示执行ls命令后的结果,与``类似,它还可以嵌套
- $(()) 对变量进行操作。比如变量a、b相加:$((a+b))或$(($a+$b))
- (()) 是整数扩展,把里面的变量当作整数去处理
- ({1..10}) 等价于seq 1 10 ,表示1到10
变量类型:
- 字符串:a="xx"
- 布尔:a=true
- 数字:a=131452
字符串操作:
提取子字符串:${value:offset} ${value:offset:ength}
字符串长度:${#var}
掐去头或尾:
去头:${value#pattern} ${value##pattern}
去尾:${value%pattern} ${value%%pattern}
例如:value="hello from home" -> echo ${value#*o} 或 ${value#hello} 打印"from home"
替换:${value/pattern/string} ${value//pattern//string}
备注:#与## %与%% /与//的区别:最短匹配模式VS最长匹配模式
算术判断:
相等:[ 2 -eq 2 ]
不相等:[ 2 -ne 2 ]
大于:[ 3 -gt 1 ]
大于等于:[ 3 -ge 3 ]
小于:[ 3 -lt 4 ]
小于等于:[ 3 -le 3 ]
逻辑与-a:[ 2 -ge 1 -a 3 -ge 4 ]
逻辑或-o:[ 2 -ge 1 -o 3 -ge 4 ]
注意:中括号与相邻数字的空格
字符串判断:
[ string1 = string2 ] :如果两字符串相同,则结果为真
[ string1 != string2 ] :如果两字符串相同,则结果为真
[ -n string ] :如果字符串不是空,则结果为真
[ -z string ] :如果字符串是空,则结果为真
[[ "xxxx" == x* ]] :*在表达式中表示0或者多个字符
[[ xxx == x? ]] :?在表达式中表示单个字符
内置判断:
[ -e file ] :如果文件存在,则结果为真
[ -d file ] :如果文件是一个子目录,则结果为真
[ -f file ] :如果文件是一个普通文件,则结果为真
[ -r file ] :如果文件可读,则结果为真
[ -s file ] :如果文件的长度不为0,则结果为真
[ -w file ] :如果文件可写,则结果为真
[ -x file ] :如果文件可执行,则结果为真
逻辑判断:
if条件判断:
if [ condition ] ; then ...; fi
if [ condition ] ; then ...;else ...;fi
if [ condition ] ; then ...;elif ...;fi
备注:&& 与 ||;&&之前为执行成功时,才会执行后面的;||之前为执行失败时,才会执行后面的
for条件判断:
for(( c1; c2; c3));
do ...;
done
如:for ((i=0;i<4;i++));do echo $i;done
for x in (1 2 3 4 5);do echo $x;done
while循环:
i=0;
while [ $i -lt 3 ];
do ...;
((i=i+1));
done
退出控制:
return ;
break ;
continue ;
三剑客:grep、awk、sed
grep:----------------------------------------
Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹 配的行打印出来。grep全称是Global Regular Expression Print,表示全局正则表达式版本,它的使用权限是所有用户。
grep的工作方式是这样的,它在一个或多个文件中搜索字符串模板。如果模板包括空格,则必须被引用,模板后的所有字符串被看作文件名。搜索的结果被送到标准输出,不影响原文件内容。
grep可用于shell脚本,因为grep通过返回一个状态值来说明搜索的状态,如果模板搜索成功,则返回0,如果搜索不成功,则返回1,如果搜索的文件不存在,则返回2。我们利用这些返回值就可进行一些自动化的文本处理工作。
1.命令格式:
grep [option] pattern file
2.命令功能:
用于过滤/搜索的特定字符。可使用正则表达式能多种命令配合使用,使用上十分灵活。
3.命令参数:
-a --text #不要忽略二进制的数据。
-A<显示行数> --after-context=<显示行数> #除了显示符合范本样式的那一列之外,并显示该行之后的内容。
-b --byte-offset #在显示符合样式的那一行之前,标示出该行第一个字符的编号。
-B<显示行数> --before-context=<显示行数> #除了显示符合样式的那一行之外,并显示该行之前的内容。
-c --count #计算符合样式的列数。
-C<显示行数> --context=<显示行数>或-<显示行数> #除了显示符合样式的那一行之外,并显示该行之前后的内容。
-d <动作> --directories=<动作> #当指定要查找的是目录而非文件时,必须使用这项参数,否则grep指令将回报信息并停止动作。
-e<范本样式> --regexp=<范本样式> #指定字符串做为查找文件内容的样式。
-E --extended-regexp #将样式为延伸的普通表示法来使用。
-f<规则文件> --file=<规则文件> #指定规则文件,其内容含有一个或多个规则样式,让grep查找符合规则条件的文件内容,格式为每行一个规则样式。
-F --fixed-regexp #将样式视为固定字符串的列表。
-G --basic-regexp #将样式视为普通的表示法来使用。
-h --no-filename #在显示符合样式的那一行之前,不标示该行所属的文件名称。
-H --with-filename #在显示符合样式的那一行之前,表示该行所属的文件名称。
-i --ignore-case #忽略字符大小写的差别。
-l --file-with-matches #列出文件内容符合指定的样式的文件名称。
-L --files-without-match #列出文件内容不符合指定的样式的文件名称。
-n --line-number #在显示符合样式的那一行之前,标示出该行的列数编号。
-q --quiet或--silent #不显示任何信息。
-r --recursive #此参数的效果和指定“-d recurse”参数相同。
-s --no-messages #不显示错误信息。
-v --revert-match #显示不包含匹配文本的所有行。
-V --version #显示版本信息。
-w --word-regexp #只显示全字符合的列。
-x --line-regexp #只显示全列符合的列。
-y #此参数的效果和指定“-i”参数相同。
4.规则表达式:
grep的规则表达式:
^ #锚定行的开始 如:'^grep'匹配所有以grep开头的行。
$ #锚定行的结束 如:'grep$'匹配所有以grep结尾的行。
. #匹配一个非换行符的字符 如:'gr.p'匹配gr后接一个任意字符,然后是p。
* #匹配零个或多个先前字符 如:'*grep'匹配所有一个或多个空格后紧跟grep的行。
.* #一起用代表任意字符。
[] #匹配一个指定范围内的字符,如'[Gg]rep'匹配Grep和grep。
[^] #匹配一个不在指定范围内的字符,如:'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一个字母开头,紧跟rep的行。
\(..\) #标记匹配字符,如'\(love\)',love被标记为1。
\< #锚定单词的开始,如:'\<grep'匹配包含以grep开头的单词的行。
\> #锚定单词的结束,如'grep\>'匹配包含以grep结尾的单词的行。
x\{m\} #重复字符x,m次,如:'0\{5\}'匹配包含5个o的行。
x\{m,\} #重复字符x,至少m次,如:'o\{5,\}'匹配至少有5个o的行。
x\{m,n\} #重复字符x,至少m次,不多于n次,如:'o\{5,10\}'匹配5--10个o的行。
\w #匹配文字和数字字符,也就是[A-Za-z0-9],如:'G\w*p'匹配以G后跟零个或多个文字或数字字符,然后是p。
\W #\w的反置形式,匹配一个或多个非单词字符,如点号句号等。
\b #单词锁定符,如: '\bgrep\b'只匹配grep。
POSIX字符:
为了在不同国家的字符编码中保持一至,POSIX(The Portable Operating System Interface)增加了特殊的字符类,如[:alnum:]是[A-Za-z0-9]的另一个写法。要把它们放到[]号内才能成为正则表达式,如[A- Za-z0-9]或[[:alnum:]]。在linux下的grep除fgrep外,都支持POSIX的字符类。
[:alnum:] #文字数字字符
[:alpha:] #文字字符
[:digit:] #数字字符
[:graph:] #非空字符(非空格、控制字符)
[:lower:] #小写字符
[:cntrl:] #控制字符
[:print:] #非空字符(包括空格)
[:punct:] #标点符号
[:space:] #所有空白字符(新行,空格,制表符)
[:upper:] #大写字符
[:xdigit:] #十六进制数字(0-9,a-f,A-F)
awk:----------------------------------------
URL:http://www.runoob.com/linux/linux-comm-awk.html
sed:----------------------------------------
sed:Stream Editor文本流编辑,sed是一个“非交互式的”面向字符流的编辑器。能同时处理多个文件多行的内容,可以不对原文件改动,把整个文件输入到屏幕,可以把只匹配到模式的内容输入到屏幕上。还可以对原文件改动,但是不会再屏幕上返回结果。
sed命令的语法格式:
sed的命令格式: sed [option] 'sed command'filename
sed的脚本格式:sed [option] -f 'sed script'filename
sed命令的选项(option):
-n :只打印模式匹配的行
-e :直接在命令行模式上进行sed动作编辑,此为默认选项
-f :将sed的动作写在一个文件内,用–f filename 执行filename内的sed动作
-r :支持扩展表达式
-i :直接修改文件内容