pd.read_csv 读取使用
pd.read_csv(filepath_or_buffer, sep=’, ‘, delimiter=None, header=’infer’,
names=None, index_col=None, usecols=None, squeeze=False, prefix=None,
mangle_dupe_cols=True, dtype=None, engine=None, converters=None,
true_values=None, false_values=None, skipinitialspace=False, skiprows=None,
nrows=None, na_values=None, keep_default_na=True, na_filter=True,
verbose=False, skip_blank_lines=True, parse_dates=False,
infer_datetime_format=False, keep_date_col=False, date_parser=None,
dayfirst=False, iterator=False, chunksize=None, compression=’infer’,
thousands=None, decimal=b’.’, lineterminator=None, quotechar=’”’,
quoting=0, escapechar=None, comment=None, encoding=None, dialect=None,
tupleize_cols=None, error_bad_lines=True, warn_bad_lines=True, skipfooter=0,
skip_footer=0, doublequote=True, delim_whitespace=False, as_recarray=None,
compact_ints=None, use_unsigned=None, low_memory=True, buffer_lines=None,
memory_map=False, float_precision=None)
相应的解释:
filepath_or_buffer : 路径 URL 可以是http, ftp, s3, 和 file.
sep: 指定分割符,默认是’,’C引擎不能自动检测分隔符,但Python解析引擎可以
delimiter: 同sep
delimiter_whitespace: True or False 默认False, 用空格作为分隔符等价于spe=’\s+’如果该参数被调用,则delimite不会起作用
header: 指定第几行作为列名(忽略注解行),如果没有指定列名,默认header=0; 如果指定了列名header=None
names 指定列名,如果文件中不包含header的行,应该显性表示header=None
index_col: 默认为None 用列名作为DataFrame的行标签,如果给出序列,则使用MultiIndex。如果读取某文件,该文件每行末尾都有带分隔符,考虑使用index_col=False使panadas不用第一列作为行的名称。
usecols: 默认None 可以使用列序列也可以使用列名,如 [0, 1, 2] or [‘foo’, ‘bar’, ‘baz’],选取的列
as_recarray:默认False , 将读入的数据按照numpy array的方式存储,0.19.0版本后使用 pd.read_csv(…).to_records()。 注意,这种方式读入的na数据不是显示na,而是给以个莫名奇妙的值
squeeze: 默认为False, True的情况下返回的类型为Series
prefix:默认为none, 当header =None 或者没有header的时候有效,例如’x’ 列名效果 X0, X1, …
mangle_dupe_cols :默认为True,重复的列将被指定为’X.0’…’X.N’,而不是’X’…’X’。如果传入False,当列中存在重复名称,则会导致数据被覆盖。
dtype: E.g. {‘a’: np.float64, ‘b’: np.int32} 指定数据类型
engine: {‘c’, ‘python’}, optional 选择读取的引擎目前来说C更快,但是Python的引擎有更多选择的操作
skipinitialspace: 忽略分隔符后的空格,默认false,
skiprows: list-like or integer or callable, default None 忽略某几行或者从开始算起的几行
skipfooter: 从底端算起的几行,不支持C引擎
nrows: int 读取的行数
na_values: 默认None NaN包含哪些情况,默认情况下, ‘#N/A’, ‘#N/A N/A’, ‘#NA’, ‘-1.#IND’, ‘-1.#QNAN’, ‘-NaN’, ‘-nan’, ‘1.#IND’, ‘1.#QNAN’, ‘N/A’, ‘NA’, ‘NULL’, ‘NaN’, ‘n/a’, ‘nan’, ‘null’. 都表现为NAN
keep_default_na: 如果na_values被定义,keep_default_na为False那么默认的NAN会被改写。 默认为True
na_filter: 默认为True, 针对没有NA的文件,使用na_filter=false能够提高读取效率
skip_blank_lines 默认为True,跳过blank lines 而且不是定义为NAN
thousands 千分位符号,默认‘,’
decimal 小数点符号,默认‘.’
encoding: 编码方式
memory_map如果为filepath_or_buffer提供了文件路径,则将文件对象直接映射到内存上,并直接从那里访问数据。使用此选项可以提高性能,因为不再有任何I / O开销。
low_memory 默认为True 在块内部处理文件,导致分析时内存使用量降低,但可能数据类型混乱。要确保没有混合类型设置为False,或者使用dtype参数指定类型。请注意,不管怎样,整个文件都读入单个DataFrame中,请使用chunksize或iterator参数以块形式返回数据。 (仅在C语法分析器中有效)
(常用的为加粗部分)
举例
读取csv文件的某一列或某几列
时间 | 排名 | 热搜内容 | 地域 | 主题 | 上榜时间 | 最后时间 |
---|---|---|---|---|---|---|
2020/2/21 12:00 | 1 | 韩国确认发生超级传播 | 国外-韩国 | 疫情-新增 | 2020/2/21 17:26 | 2020/2/21 7:46 |
2020/2/21 12:00 | 2 | 周琪 新冠病毒不能通过皮肤侵入人体 | 国内 | 专家-周琪 | 2020/2/21 16:38 | 2020/2/21 11:22 |
2020/2/21 12:00 | 3 | 延迟婚期的武汉医生感染离世 | 国内-湖北-武汉 | 医护-去世 | 2020/2/21 16:52 | 2020/2/21 16:52 |
2020/2/21 12:00 | 4 | 山东省司法厅厅长被免职 | 国内-山东 | 政府-免职、政府-问责 | 2020/2/21 16:28 | 2020/2/21 10:34 |
2020/2/21 12:00 | 5 | 湖北以外地区新增病例出现反弹 | 国内 | 疫情-新增 | 2020/2/21 17:58 | 2020/2/21 10:12 |
2020/2/21 12:00 | 6 | 疫苗最快4月下旬申报临床试验 | 国内 | 疫情-疫苗 | 2020/2/21 16:02 | 2020/2/21 11:06 |
2020/2/21 12:00 | 8 | 青海新冠肺炎确诊患者清零 | 国内-青海 | 疫情-减少 | 2020/2/21 17:54 | 2020/2/21 11:04 |
2020/2/21 12:00 | 11 | 武汉训斥医护人员患者被停职检查 | 国内-湖北-武汉 | 政府-免职 | 2020/2/21 14:58 | 2020/2/21 8:22 |
2020/2/21 12:00 | 12 | 日本累计确诊728例新冠肺炎 | 国外-日本 | 疫情-新增 | 2020/2/21 13:46 | 2020/2/21 7:12 |
数据的格式如上,共计有896条数据。
现在为了供提取出‘热搜内容’这一栏目的内容用于进一步的处理,需要用到如下语句:
filename='weibo.csv'
names='热搜内容'
f1=pd.read_csv(filename,usecols=[names])
print(f1)
输出情况:
如此,使用usecols来提取出对应列的数据,方便更进一步的处理。
更近一步的,获得数据数组,可用:
print(f1.values.tolist())
print(f1.values.tolist()[12])
print(f1.values.tolist()[12][0])
对应的输出结果如下:
当然最好是从新存入新的数组中:
list=f1.values.tolist()
data=np.array(list)
print(data)
print(data[1])
print(data[1][0])
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix