Python数据清洗函数
构造数据集
import pandas as pd df ={'姓名':[' 黄同学','黄至尊','黄老邪 ','陈大美','孙尚香'], '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'], '性别':['男','women','men','女','男'], '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'], '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'], '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'], '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'], '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']} df = pd.DataFrame(df) df
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211340636-254431523.png)
1. cat函数
这个函数主要用于字符串的拼接
;df["姓名"].str.cat(df["家庭住址"],sep='-'*3)
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211449136-429403644.png)
2. contains函数
这个函数主要用于判断某个字符串是否包含给定字符
;
df["家庭住址"].str.contains("广")
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211506125-2048974116.png)
3. startswith、endswith函数
这个函数主要用于判断某个字符串是否以...开头/结尾
;
# 第一个行的“ 黄伟”是以空格开头的 df["姓名"].str.startswith("黄") df["英文名"].str.endswith("e")
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211520390-72647519.png)
4. count函数
这个函数主要用于计算给定字符在字符串中出现的次数
;
df["电话号码"].str.count("3")
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211534324-399558556.png)
5. get函数
这个函数主要用于获取指定位置的字符串
;
df["姓名"].str.get(-1) df["身高"].str.split(":") df["身高"].str.split(":").str.get(0)
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211545883-510057208.png)
6. len函数
这个函数主要用于计算字符串长度
;
df["性别"].str.len()
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211557265-468022881.png)
7. upper、lower函数
这个函数主要用于英文大小写转换
;
df["英文名"].str.upper() df["英文名"].str.lower()
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211608707-1262737606.png)
8. pad+side参数/center函数
这个函数主要用于在字符串的左边、右边或左右两边添加给定字符
;
df["家庭住址"].str.pad(10,fillchar="*") # 相当于ljust() df["家庭住址"].str.pad(10,side="right",fillchar="*") # 相当于rjust() df["家庭住址"].str.center(10,fillchar="*")
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211620092-1510134595.png)
9. repeat函数
这个函数主要用于重复字符串几次
;
df["性别"].str.repeat(3)
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211630096-85891886.png)
10. slice_replace函数
这个函数主要用于使用给定的字符串,替换指定的位置的字符
;
df["电话号码"].str.slice_replace(4,8,"*"*4)
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211641598-1803156117.png)
11. replace函数
这个函数主要用于将指定位置的字符,替换为给定的字符串
;
df["身高"].str.replace(":","-")
效果图:
这个函数还
接受正则表达式
,将指定位置的字符,替换为给定的字符串。
df["收入"].str.replace("\d+\.\d+","正则")
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211722175-1914601637.png)
12. split方法+expand参数
这个函数主要用于将一列扩展为好几列
;
# 普通用法 df["身高"].str.split(":") # split方法,搭配expand参数 df[["身高描述","final身高"]] = df["身高"].str.split(":",expand=True) df # split方法搭配join方法 df["身高"].str.split(":").str.join("?"*5)
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211735913-1633299660.png)
13. strip、rstrip、lstrip函数
这个函数主要用于去除空白符、换行符
;
df["姓名"].str.len() df["姓名"] = df["姓名"].str.strip() df["姓名"].str.len()
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211749675-1199332079.png)
14. findall函数
这个函数主要用于利用正则表达式,去字符串中匹配,返回查找结果的列表
;
df["身高"] df["身高"].str.findall("[a-zA-Z]+")
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211800097-2129774046.png)
15. extract、extractall函数
这个函数主要用于接受正则表达式,抽取匹配的字符串(一定要加上括号)
;
df["身高"].str.extract("([a-zA-Z]+)") # extractall提取得到复合索引 df["身高"].str.extractall("([a-zA-Z]+)") # extract搭配expand参数 df["身高"].str.extract("([a-zA-Z]+).*?([a-zA-Z]+)",expand=True)
效果图:
![](https://img2020.cnblogs.com/blog/1371472/202110/1371472-20211008211814993-863403759.png)