《利用python进行数据分析》读书笔记--第六章 数据加载、存储与文件格式
输入输出一般分为下面几类：读取文本文件和其他更高效的磁盘存储格式，加载数据库中的数据。利用Web API操作网络资源。
1、读写文本格式的数据
自己感觉读写文件有时候“需要运气”，经常需要手工调整。因为其简单的文件交互语法、直观的数据结构，以及诸如元组打包解包之类的便利功能，Python在文本和文件处理方面已经成为一门招人喜欢的语言。pandas提供了一些用于将表格型数据读取为DataFrame对象的函数。见下表：
下面大致介绍一下这些函数在文本数据转换为DataFrame时的一些技术。可以分为一下几类：
-
索引：将一个或者多个列当作返回的DataFrame处理，以及是否从文件、用户获取列名。
-
类型推断和数据转换：包括用户定义值的转换、缺失值标记列表等。
-
日期解析：包括组合功能，比如将分散在多个列中的日期时间信息组合成结果中的单个列。
-
迭代：支持对大文件进行逐块迭代。
-
不规整数据问题：跳过一些行、页脚、注释或者其他不要的东西
pandas读取文件会自动推断数据类型，不用指定。
read_csv为例
用names重新规定列名，用index_col指定索引，也可以将多个列组合作为层次化索引。可以编写正则表达式规定分隔符。用skiprows跳过某些行。pandas会用NA、-1.#IND、NULL等进行标记。用na_values用来不同的NA标记值。下面是read_csv/read_table参数：
逐块读取文本文件
处理很大的文件时，或找出大文件中的参数集以便于后续处理时，可能只想读取一部分或者逐块对文件进行迭代。nrows指定读取多少行。要逐块读取文件，需要设置chunksize（行数）。
将数据写出到文本格式
用to_csv方法写出到csv文件中。参数sep标明分隔符。na_rep标明空白字符串的代替值。index header标明是否写出行列标签，默认是写出。用cols限制并以指定顺序写出某些列。
Series也有to_csv方法。用一些整理工作（无header行，第一列作索引）就能用read_csv读取为Series，当然还有一个更方便的from_csv，Series.from_csv。
手工处理分隔符格式
有些奇葩文件需要进行处理以后再读。Python内置的csv模块可以读取任何单字符分隔符文件。将打开的文件传递给csv.reader。csv文件的形式有很多，只需定义csv.Dialect的一个子类即可定义新格式（如专门的分隔符、字符串引用约定、行结束符等）：
#-*- encoding:utf-8 -*- import numpy as np import os import pandas as pd from pandas import Series,DataFrame import matplotlib.pyplot as plt import pandas.io.data as web import csv f = open('ex6.csv') reader = csv.reader(f) for line in reader: print line lines = list(csv.reader(open('ex7.csv'))) header,values = lines[0],lines[1:] print header print values #下面的 * 应该是取出值的意思 data_dict = {h:v for h,v in zip(header,zip(*values))} print data_dict class my_dialect(csv.Dialect): lineterminator = '\n' delimiter = ';' quotechar = '"' reader = csv.reader(f,dialect=my_dialect) #csv语支的参数也可以用参数的形式给出 reader = csv.reader(f,delimiter = '|')
对于那些使用复杂分隔符或多字符分隔符的文件，csv文件就无能为力了。这种情况下用split或者re.split进行拆分合整理工作。要手工输出分隔符文件，可以使用csv.writer。它接受一个已打开且可写的文件对象以及跟cav.reader相同的那些语支和格式化选项。
#-*- encoding:utf-8 -*- import numpy as np import os import pandas as pd from pandas import Series,DataFrame import matplotlib.pyplot as plt import pandas.io.data as web import csv with open('mydata.csv','w') as f: writer = csv.writer(f,lineterminator = '\n') writer.writerow(('one','two','three')) writer.writerow(('1','2','3'))
JSON数据
除空值null和一些其他的细微差别（如列表末尾不允许存在多余的逗号）之外，JSON非常接近有效Python代码。基本数据类型有对象（字典）、数组（列表）、字符串、数值、布尔值以及NULL。对象中所有的键都必须是字符串（非常重要）。用json模块，json.loads可以将字符串转换成Python形式，即可以将对象读取为python字典。
相反的，json.dumps可以将python对象转换为json格式。
XML和HTML：Web信息收集
lxml可以读取xml和html格式数据并处理。这部分用到的时候再研究。
2、二进制数据文件
实现数据的二进制格式最简单的方法之一是使用Python内置的pickle序列化。为了使用方便，pandas对象都有一个用于将数据以pickle形式保存到磁盘上的save方法。
#-*- encoding:utf-8 -*- import numpy as np import os import pandas as pd from pandas import Series,DataFrame import matplotlib.pyplot as plt import pandas.io.data as web import csv frame = pd.read_csv('ex1.csv') print frame frame.save('frame_pickle') #存储为二进制文件 ok = pd.load('frame_pickle') #load函数 #ok1 = pd.read_table('frame_pickle') #不能用read_table函数 #print ok1 print ok
pickle，作者建议用作短期存储，因为会遇到解析版本问题。
使用HDF5格式
很多工具都能实现高效读写磁盘上以二进制格式存储的科学数据。HDF5就是一个流行工业级库，是一个C库，有Java、Python、MATLAB等多种接口。这部分暂时不看。
读取Excel数据
支持excel2003及更高版本的excel文件。用pandas中的ExcelFile类即可，需要安装xlrd和openpyxl包。
#-*- encoding:utf-8 -*- import numpy as np import os import pandas as pd from pandas import Series,DataFrame import matplotlib.pyplot as plt import pandas.io.data as web import csv xls_file = pd.ExcelFile('ex1.xlsx') table = xls_file.parse('ex1') print table
使用HTML和Web API
许多网站都有一些通过JSON或其他格式提供数据的公共API。用requests包等可以实现。这部分暂时不看。
使用数据库
数据从SQL中加载到DataFrame比较简单，此外pandas还有一些能够简化该过程的函数。作者是用一款SQLite数据库，用sqlite3驱动器。作者还举了MongoDB中数据的例子。暂时不看。
