随笔分类 -  Spark1.2

摘要:准备工作:1、笔记本4G内存 ,操作系统WIN72、工具VMware Workstation3、虚拟机:CentOS6.4共五台4、搭建好Hadoop集群( 方便Spark可从HDSF上读取文件,进行实验测试)实验环境:Hadoop HA集群:Iphostnamerole192.168.249.13... 阅读全文
posted @ 2015-01-15 10:47 JackyKen 阅读(1357) 评论(3) 推荐(4) 编辑
摘要:1. Spark中的基本概念Application:基于Spark的用户程序,包含了一个driver program和集群中多个executor。Driver Program:运行Application的main()函数并创建SparkContext。通常SparkContext代表driver p... 阅读全文
posted @ 2015-01-08 11:23 JackyKen 阅读(558) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示