pyspark使用记录
2016年在清华研究
--》启动python版的spark
直接输入pyspark
--》帮助
pyspark --help
---》执行python实例
spark-submit /usr/local/spark-1.5.2-bin-hadoop2.6/examples/src/main/python/pi.py
--》数据并行化,创建并行化集合
输入pyspark
>>>data=[1,2,3,4,5]
>>>disData=sc.parallelize(data)
>>>disData.reduce(lambda a,b:a+b)
--》读取及操作
读取本地数据集
>>>distFile=sc.textFile("file:///usr/local/spark-1.5.2-bin-hadoop2.6/examples/src/main/resources/people.json")
叠加所有文本行的长度
>>>distFile.map(lambda s: len(s)).reduce(lambda a, b: a + b)
--》pyton版的wordCount
1.建立一个python文件夹
2.vi 一个my.py,输入
import sys
from pyspark import SparkContext
from pyspark import SparkConf
def run():
print '************'
print 'hello,zhaodezan'
conf = SparkConf().setAppName('wordCount')
sc = SparkContext(conf=conf)
distFile = sc.textFile('file:///home/zhaodz/sbt/wordCount/count.txt')
print 'the number is'
print distFile.map(lambda s:len(s)).reduce(lambda a,b:a+b)
print 'goodBye,zhaodezan'
print '************'
run()
3.直接在命令行中输入spark-submit my.py即可计算出
