shell提取字符串中的字母，数字和小数

有时爬虫中提取的文本中存在大量的&nbsp，这些显示为空格，但是无法用 "\r" "\t" 或者 [space] 空格进行替换，这些文本在运算中会报错，因此需要提取其中的数字和字母。

此类问题的报错信息通常为标准输入不合法的字符，例如：

(standard_in) 1: illegal character: \302

(standard_in) 2: syntax error

 

从字符串中提取数字字母的方法有三，grep命令sed命令和awk均可

sed命令提取字母和数字：使用正则表达式

 1 #/bin/bash
 2 #正则表达式写在[]里，^代表非
 3 echo " 0ab12 AB34 Cc " | sed 's/[^0-9]//g'
 4 #输出 01234
 5 echo " 0ab12 AB34 Cc " | sed 's/[^a-z]//g'
 6 #输出 abc
 7 echo " 0ab12 AB34 Cc " | sed 's/[^a-zA-Z]//g'
 8 #输出 abABCc
 9 echo " 0ab12 AB34 Cc " | sed 's/[0-9]//g'
10 #输出 ” ab AB Cc “，输出内容包含空格

 

grep命令提取小数：

1 #/bin/bash
2 #转化为提取小数点两侧的整数
3 echo "  *3.2-& " | grep -oP '\d*\.\d+'
4 #输出 3.2

 

awk命令提取：按位筛选

注意awk的F选项和双引号之间有一个空格！！！

 1 #/bin/bash
 2 #awk的F空选项表示按位分析，正则表达式同上
 3 echo 'dsFUs34tg*fs5a%8ar%$#@' | awk -F "" '
 4 {
 5   for(i=1;i<=NF;i++) 
 6   {  
 7     if ($i ~ /[^0-9a-zA-Z]/)         
 8     {
 9       str=$i
10       str1=(str1 str)
11     }  
12   } 
13   print str1
14 }'
15 
16 #输出 *%%$#@

 

posted @ 2021-03-25 19:22  Philbert  阅读(13748)  评论(0)  编辑  收藏  举报