随笔分类 - Spark1.2
摘要:准备工作:1、笔记本4G内存 ,操作系统WIN72、工具VMware Workstation3、虚拟机:CentOS6.4共五台4、搭建好Hadoop集群( 方便Spark可从HDSF上读取文件,进行实验测试)实验环境:Hadoop HA集群:Iphostnamerole192.168.249.13...
阅读全文
摘要:1. Spark中的基本概念Application:基于Spark的用户程序,包含了一个driver program和集群中多个executor。Driver Program:运行Application的main()函数并创建SparkContext。通常SparkContext代表driver p...
阅读全文