JulyBgm

摘要： SparkRdd实现单词统计 源码分析 1 手写单词统计 //设置任务名字 local本地模式 val conf=new SparkConf().setAppName("WC").setMaster("local") //通向spark集群的入口 val sc =new SparkContext(c 阅读全文

摘要： spark默认页面UI 对应配置文件 sh start-all.sh 启动命令 spark-shell启动 jps看下多了一个sparksubmit进程 启动后后台日志启动了job的页面 --编写个本地文件 为了后面测试 装载到rdd中 单词统计第一种写法 sc.textFile("/home/ha 阅读全文