shell提取字符串中的字母，数字和小数

有时爬虫中提取的文本中存在大量的&nbsp，这些显示为空格，但是无法用 "\r" "\t" 或者 [space] 空格进行替换，这些文本在运算中会报错，因此需要提取其中的数字和字母。

此类问题的报错信息通常为标准输入不合法的字符，例如：

(standard_in) 1: illegal character: \302

(standard_in) 2: syntax error

 

从字符串中提取数字字母的方法有三，grep命令sed命令和awk均可

sed命令提取字母和数字：使用正则表达式

#/bin/bash
#正则表达式写在[]里，^代表非
echo " 0ab12 AB34 Cc " | sed 's/[^0-9]//g'
#输出 01234
echo " 0ab12 AB34 Cc " | sed 's/[^a-z]//g'
#输出 abc
echo " 0ab12 AB34 Cc " | sed 's/[^a-zA-Z]//g'
#输出 abABCc
echo " 0ab12 AB34 Cc " | sed 's/[0-9]//g'
#输出 ” ab AB Cc “，输出内容包含空格

 

grep命令提取小数：

#/bin/bash
#转化为提取小数点两侧的整数
echo "  *3.2-& " | grep -oP '\d*\.\d+'
#输出 3.2

 

awk命令提取：按位筛选

注意awk的F选项和双引号之间有一个空格！！！

#/bin/bash
#awk的F空选项表示按位分析，正则表达式同上
echo 'dsFUs34tg*fs5a%8ar%$#@' | awk -F "" '
{
  for(i=1;i<=NF;i++) 
  {  
    if ($i ~ /[^0-9a-zA-Z]/)         
    {
      str=$i
      str1=(str1 str)
    }  
  } 
  print str1
}'

#输出 *%%$#@