随笔分类 - Pandas

Pandas_HDF5

摘要：HDF5适用于处理不适合在内存中存储地超大型数据，可以使你高效读写大型数据的一小块。 1.Pandas使用HDFStore类来实现这一功能，类似字典一样的工作方式 import numpy as np df = pd.DataFrame({'a':np.random.randn(100)}) # 有阅读全文

posted @ 2020-05-07 23:40 li-shan 阅读(428) 评论(0) 推荐(0) 编辑

Pandas_JSON和Pickle

摘要：1.使用read_json函数可以自动将JSON数据集按照指定的顺序转换为Series或者DataFrame对象，其默认做法是假设JSON数据中的每个对象是表里的一行 # [{"a": 1, "b": 2, "c": 3}, # {"a": 4, "b": 5, "c": 6}, # {"a": 7 阅读全文

posted @ 2020-05-07 22:03 li-shan 阅读(206) 评论(0) 推荐(0) 编辑

Pandas文件读取

摘要：数据交换主要有以下几种类型：读取文本文件或磁盘上的其它高效文件格式与数据库交互与网络资源，比如Web API进行交互在Pandas的使用场景中，最多的是将表格型的数据读取为DataFrame对象。实现这一功能的函数有很多，最常用的是read_csv和read_table。 1. import 阅读全文

posted @ 2020-05-07 21:26 li-shan 阅读(271) 评论(0) 推荐(0) 编辑