Pandas—read_csv()/read_table()文本文件的读取
对于CSV及txt后缀的文本文件,分别使用pandas模块中的read_csv函数和read_table函数
文件类型 |
函数名称 |
CSV |
read_csv() |
txt |
read_table() |
1. read_table函数的参数
read_table(filepath_or_buffer , sep='\t' , header='infer' ,
names=None , index _col=None , usecols=None , dtype=None ,
converters=None , skiprows=None , skipfooter=None , nrows=None ,
na_values=None , skip_blank_lines=True , parse_dates=False ,
thousands= None , comment=None , encoding=None)
2. 参数解释
序号 |
参数名称 |
描述 |
1 |
filepath_or_buffer |
文件路径、指定存储数据的URL或者文件型对象 |
2 |
sep |
指定原数据集中分割每行字段的分隔符,默认为tab制表符 |
3 |
header |
是否将原数据集中的第一行作为表头,默认是0,将第一行作为变量名称;如果原始数据中没有表头,该参数需要设置成None。 |
4 |
names |
如果原数据集中没有列名,这个可以用来给数据添加列名。和header=None一起使用。 |
5 |
index _col |
指定数据集中的某些列(字段)作为数据的行索引(标签) |
6 |
usecols |
指定要读取哪些列(字段)的数据。 |
7 |
dtype |
为数据集中的每列设置不同的数据类型 |
8 |
converters |
通过字典格式,为数据集中的某些列(字段)设置转换函数 |
9 |
skiprows |
指定需要跳过原数据集的起始行数 |
10 |
skipfooter |
指定需要跳过原数据集的末尾行数 |
11 |
nrows |
指定从文件开头处读入的行数 |
12 |
na_values |
指定原数据集中的哪些特征值为缺失值(默认将两个分隔符之间的空值视为缺失值) |
13 |
skip_blank_lines |
跳过空白行,默认为True |
14 |
parse_dates |
尝试将数据解析为datetime,默认为False。参数值为True时,则尝试解析数据框的行索引;参数为列表,则尝试解析对应的日期列;如果参数为嵌套列表,则将某些列合并为日期列;如果参数为字典,则解析对应的列(即字典中的值),并生成新的变量名(即字典中的键) |
15 |
thousands |
指定原数据集中的千分位符 ,例如','或'.' |
16 |
comment |
指定注释符,在读取数据时,如果碰到行首指定的注释符,则跳过该行 |
17 |
encoding |
为防止中文乱码,可以借助该参数解决(通常设置为“utf-8”或者“gbk”) |
18 |
chunksize |
用于迭代的块大小 |
19 |
date_parser |
用于解析日期的函数 |
read_csv函数的参数与之完全一致,有一个不同点:sep参数值的默认值
文件类型 |
函数名称 |
默认分隔符 |
CSV |
read_csv() |
参数的默认值为英文状态下的逗号“,” |
txt |
read_table() |
参数的默认值为tab制表符 |
3 应用案例
有一个txt文件,内容如下:
2021年寒假留校过年的同学,带“!”的同学因临时变更选择回家
如有变化,及时报送
0014,多隆,男,河北石家庄人
0015,陈近南,男,福建漳州人
! 0016,韦小宝,男,江苏扬州人
0017,龙儿,女,神龙岛人
!0018,鳌拜,内蒙古呼和浩特人
数据来源于鹿鼎大学人事部
抄送给康熙
要求只读取编号、姓名、性别、籍贯等内容,且回家的不用读,实现如下效果:
|
id |
name |
gender |
native place |
0 |
14 |
多隆 |
男 |
河北石家庄人 |
1 |
15 |
陈近南 |
男 |
福建漳州人 |
2 |
17 |
龙儿 |
女 |
神龙岛人 |
代码
import pandas as pd
#用read_table函数读取文本文件的数据
data=pd.read_table(r'D:Desktop\新建文本文档.txt', #文件路径,前面的filepath_or_buffer符可以省略掉
sep=',', #指定数据中变量之间的分隔符,注意这里是中文的逗号 ,
header=None , #不需要将原来的数据中的第一行读作表头
names=['id','name','gender','native place'] , #重新为各列起变量名称
converters={'id':str} , #将ID转换为字符串,以免开头的00消失
skiprows=2 , #跳过开头的两行数据
skipfooter=2, #跳过末尾的两行数据
comment='!' #不读取“!”开头的数据行
)
本文来自博客园,作者:业余砖家,转载请注明原文链接:https://www.cnblogs.com/yeyuzhuanjia/p/14817744.html