利用Python进行数据分析 第7章 数据清洗和准备（2）

7.3 字符串操作

pandas加强了Python的字符串和文本处理功能，使得能够对整组数据应用字符串表达式和正则表达式，且能够处理烦人的缺失数据。

7.3.1 字符串对象方法

对于许多字符串处理和脚本应用，内置的字符串方法能够满足要求。

1）用split将以逗号分隔的字符串拆分成数段

 

2）split常与strip一起使用，用于去除空白符（包括换行符）

3）利用加法，可将这些字符串以其他符号（如，双冒号）分隔的形式连接起来

　　Ps：该方式不实用，可用向字符串"::"的join方法传入一个列表或元组：

　　

4）子串定位。检测子串的最佳方式是利用Python的in关键字，还可使用index和find

　　Ps：注意find和index区别，如果找不到字符串，index将会引发一个异常（而不是像find一样，返回-1）

5）count可返回指定子串的出现次数

表7-3 Python内置的字符串方法（这些运算大部分都能使用正则表达式实现）

 

7.3.2 正则表达式

正则表达式提供了一种灵活的在文本中搜索或匹配（通常比前者复杂）字符串模式的方式。

正则表达式，称作regex。是根据正则表达式语言编写的字符串。Python内置的re模块负责对字符串应用正则表达式。

（正则表达式的编写技巧可用自成一章，更多相关内容网上找教程学习）

re模块的函数分为三大类：模式匹配、替换以及拆分。regex描述了需要在文本中定位的一个模式。

1）描述一个或多个空白符的regex是\s+

例子，拆分一个字符串，分隔符为数量不定的一组空白符（制表符、空格、换行符等）

　　调用re.split('\s+',text)时，正则表达式会先被编译，然后再在text上调用其split方法。可用re.compile自己编译reges以得到一个可重用的regex对象：

　　

　　如果只希望得到匹配regex的所有模式，则可使用findall方法：

　　

　　Ps：如果想避免正则表达式中不需要的转义（\），则可使用原始字符串字面量，如 r'C:\x'

　　如果打算对许多字符串应用同一条正则表达式，强烈建议通过re.compile创建regex对象。如此可节省大量的CPU时间。

2）match和search跟findall功能类似

findall返回的是字符串中所有匹配项，而search则只返回第一个匹配项。match更加严格，它只匹配字符串的首部。

例子：

对text使用findall将得到一组电子邮件：

search返回的是文本中第一个电子邮件地址（以特殊的匹配项对象形式返回）。对于上面的regex，匹配项对象只能告诉我们模式在原字符串中的起始位置和结束位置：

regex.match则将返回None，因为它只匹配出现在字符串开头的模式：

3）sub方法。可将匹配到的模式替换为指定字符串，并返回所得到的新字符串：

4）如不仅想找出电子邮件地址，还想将各个地址分成3个部分：用户名、域名以及域后缀。实现此功能，只需将待分段的模式的各部分用圆括号包起来：

　　Ps：对于带有分组功能的模式，findall会返回一个如上所示的元组列表

由这种修改过的正则表达式所产生的匹配项对象，可通过其groups方法返回一个由模式各段组成的元组：

5）sub还能通过诸如\1、\2之类的特殊符号访问各匹配项中的分组。符合\1对应第一个匹配的组，\2对应第二个匹配的组，以此类推：

表7-4 正则表达式方法

 

7.3.3 pandas的矢量化字符串函数

清理待分析的散乱数据时，常需要做一些字符串规整化工作。更为复杂的情况是，含有字符串的列有时还含有缺失数据：

1）通过data.map，所有字符串和正则表达式方法都能被应用于（传入lambda表达式或其他函数）各个值，但是如果存在NA（null）就会报错。为解决该问题，Series有一些能够跳过NA值的面向数组方法，进行字符串操作。通过Series的str属性即可访问这些方法。

如，通过str.contains检查各个电子邮件地址是否含有"gamil"：

　　也可使用正则表达式，还可加上任意re选项（如，IGNORECASE）：

　　

2）实现矢量化的元素获取操作，有两个方法：要么使用str.get，要么在str属性上使用索引：

要访问嵌入列表中的元素，可传递索引到这两个函数中：

3）可利用这种方法对字符串进行截取：

 

表7-5 更多pandas字符串方法

 

7.4 总结

高效的数据准备，可以为数据分析留出更多时间。下一章，将学习pandas的聚合与分组。