[apache spark]洞见纽约车辆事故|bluemix|apache spark
今天，我们用spark 来分析 下一纽约市车辆事故的大数据。
前提条件：
1.有bluemix 帐号，并并在bluemix的dashboard里创建了一个sparck instance。
2.稳定可以访问纽约市开放公共数据中心NYPD Motor Vehicle Collisions的网络。
3.在bluemix 中的spark instance 里点击进入notebook网页，并创建新的notebook(默认语言：python).
步骤1:获取数据.
到网站：NYPD Motor Vehicle Collisions，导出csv文件。并把这个文件导入到bluemix的storeage,首先点击右上角的Palette>Data Sources。 点击 **Add Source**, 选择**From file**, and 从你本地磁盘选择csv文件。因为数据比较大，上传数据需要一点时间。
步骤2.访问数据。
在你访问csv数据之前，要配置hadoop的相关配置信息。把下面的代码填入即可，如下：
def set_hadoop_config(credentials):
prefix = "fs.swift.service." + credentials['name']
hconf = sc._jsc.hadoopConfiguration()
hconf.set(prefix + ".auth.url", credentials['auth_url']+'/v3/auth/tokens')
hconf.set(prefix + ".auth.endpoint.prefix", "endpoints")
hconf.set(prefix + ".tenant", credentials['project_id'])
hconf.set(prefix + ".username", credentials['user_id'])
hconf.set(prefix + ".password", credentials['password'])
hconf.setInt(prefix + ".http.port", 8080)
hconf.set(prefix + ".region", credentials['region'])
hconf.setBoolean(prefix + ".public", True)
点击插入新代码行，
在新代码行里插入数据配置，点击数据下面的Insert to code
注意，这里自动插入的代码还要自己调整修改，如下：
credentials = {}
credentials['name'] = 'keystone'
credentials['auth_url'] = 'https://identity.open.softlayer.com'
credentials['project_id'] = 'XXX'
credentials['region'] = 'dallas'
credentials['user_id'] = 'XXX'
credentials['password'] = 'XXX'
credentials['container'] = 'notebooks'
其中，credentials['name'] = 'keystone'，意思是给hadoop取个名字，这里可以自行决定。
然后，再新建一行代码行，填入下面的代码，如下 ：
set_hadoop_config(credentials)
这是指把上面的credentials相关的信息配置进hadoop的配置实例里。
步骤3.加载数据。在新代码行，填入以下代码：
from __future__ import division
import numpy as np
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
# adding the PySpark modul to SparkContext
sc.addPyFile("https://raw.githubusercontent.com/seahboonsiew/pyspark-csv/master/pyspark_csv.py")
import pyspark_csv as pycsv
collisions = sc.textFile("swift://" + credentials['container'] + "." + credentials['name'] + "/NYPD_Motor_Vehicle_Collisions.csv")
def skip_header(idx, iterator):
if (idx == 0):
next(iterator)
return iterator
collisions_header = collisions.first()
collisions_header_list = collisions_header.split(",")
collisions_body = collisions.mapPartitionsWithIndex(skip_header)
# filter not valid rows
collisions_body = collisions_body.filter(lambda line : len(line.split(","))>29)
# create Spark DataFrame using pyspark-csv
collisions_df = pycsv.csvToDataFrame(sqlContext, collisions_body, sep=",", columns=collisions_header_list)
collisions_df.cache()
依次执行以上的代码，应该会有个输出：
代表数据加载成功！spark已经成功创建RDD数据集。
现在你可用这些数据来做些有趣的事情了。
a.先检查下python的schema
# Python expressions in a code cell will be outputted after computation
collisions_df.printSchema()
输出：
b.取第一行数据：
collisions_df.take(1)
输出：
更多内容请访问IBM的bluemix数据分析主页：https://console.ng.bluemix.net/data/analytics
