hdfs数据导入及spark导入hdfs数据

spark特点

(1)spark基于scala语言开发的

(2)spark基于内存运算

(3)支持多种语言

导入数据到hdfs上:

pyspark加载:

spark结构

  主从结构   master

                   worker

                   worker

 

posted @ 2018-08-02 17:33  Hztiger  阅读(241)  评论(0编辑  收藏  举报