摘要：
条件：maven、java应用程序代码、pom.xml -pom.xml文件 1 <project> 2 <groupId>edu.berkeley</groupId> 3 <artifactId>simple-project</artifactId> 4 <modelVersion>4.0.0</ 阅读全文
摘要：
问题分析： 对sbt版本结果没有影响，但是会影响后续的打包编译！！！！要命、 解决方法： 运行命令：sudo gedit ~/.bashrc 最后一行添加：TERM="${TERM/xterm-256color/xterm-color" 最后：source ~/.bashrc 实验结果： OK,sb 阅读全文
摘要：
启动hadoop-hdfs命令 退出hdfs: 启动spark命令： 退出： -ls：显示文件夹内容 -put:上传到hdfs上 -cat:显示文件内容 hdfs文件读取成功：三种方式，前提：运行hdfs 阅读全文
摘要：
词频统计： textFile包含了多行文本内容： textFile.flatMap(line => line.split(” “))会遍历textFile中的每行文本内容，当遍历到其中一行文本内容时，会把文本内容赋值给变量line，并执行Lamda表达式line => line.split(” “) 阅读全文
摘要：
问题： Spark惰性机制引起的：Input path does not exist 问题分析： val textFile = Sc.textFile(“file///usr/local/spark/...”)加载本地文件，必须以“file：///”开头 Spark的惰性机制：执行上面的命令不会马上 阅读全文