摘要：
2.4 小试牛刀：Spark shell和SparkContext 本章使用的资料来自加州大学欧文分校机器学习资料库(UC Irvine Machine Learning Repository)，这个资料库为研究和教学提供了大量非常好的数据源， 这些数据源非常有意义，并且是免费的。由于网络原因，无法 阅读全文
摘要：
同时打开了两个SecureCRT的终端界面，其中一个已经进入了Spark-shell，在另一个SecureCRT界面中执行 "spark-shell --master yarn --deploy-mode client < cha02.scala" 时报错，如下： [root@master test 阅读全文
摘要：
1、Spark脚本提交/运行/部署 1.1 spark-shell（交互窗口模式） 运行Spark-shell需要指向申请资源的standalone spark集群信息，其参数为MASTER，还可以指定executor及driver的内存大小。 sudo spark-shell --executor 阅读全文
摘要：
由于需要首次手动安装sbt，需要联网，故将虚拟机的网络适配器模式设置为"桥接模式"，这样就可以和互联网相连接。 但是后面执行"spark-shell --master yarn --deploy-mode client" 命令时，无法启动，一直停留在中间状态不动， 如下： [root@master 阅读全文
摘要：
在类Unix系统上，可以在scala文件中开头第一行指定脚本的解释程序。如下例： 先输入chmod +x Script.scala，确保对Script.scala文件有执行权限。然后执行此文件，在命令行上输入./Script.scala Buddy （说明：此处，Buddy是传给脚本的参数） 输出如 阅读全文