2.5学习进度

今天继续学习spark，如何进行dataFrame的转换

1. 什么是DataFrame

DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）。DataFrame既有行索引也有列索引，它可以被看做由series组成的字典（共用同一个索引）

2. DateFrame特点

DataFrame中面向行和面向列的操作基本是平衡的。

DataFrame中的数据是以一个或多个两维块存放的（而不是列表、字典或别的一维数据结构）。

3. 创建DataFrame

最常用的一种是直接传入一个由等长列表或NumPy数组组成的字典：

In [33]: data={'state':['Ohio','Ohio','Ohio','Nevada','Nevada'],'year':[2000,2001,2002,2001,2002],'pop':[1.5,1.7,3.6,2.4,2.9]}

In [34]: frame=DataFrame(data)

#结果DataFrame会自动加上索引（跟Series一样），且全部列会被有序排列：

In [35]: frame

Out[35]:

pop state year

0 1.5 Ohio 2000

1 1.7 Ohio 2001

2 3.6 Ohio 2002

3 2.4 Nevada 2001

4 2.9 Nevada 2002

4. 指定列顺序

#使用clolumns指定列顺序

In [36]: DataFrame(data,columns=['year','state','pop'])

Out[36]:

year state pop

0 2000 Ohio 1.5

1 2001 Ohio 1.7

2 2002 Ohio 3.6

3 2001 Nevada 2.4

4 2002 Nevada 2.9

5. NA值

跟Series一样，如果传入的列在数据中找不到，就会产生NA值：

In [37]: DataFrame(data,columns=['year','state','pop','debt'],index=['one','two','three','four','five'])

Out[37]:

year state pop debt

one 2000 Ohio 1.5 NaN

two 2001 Ohio 1.7 NaN

three 2002 Ohio 3.6 NaN

four 2001 Nevada 2.4 NaN

five 2002 Nevada 2.9 NaN