打赏

随笔分类 -  Spark Shell

全网最详细的Xshell或SecureCRT下spark-shell里出现无法退格或者删除的问题现象的解决办法（图文详解）
摘要：不多说，直接上干货！ 前言 打开spark的命令行后，发现输错字符了，但是无法退格或者删除，这是比较苦恼的问题。 这个问题，得看你是用Xshell，还是SecureCRT。 一般是出现在SecureCRT里。 Xshell里解决办法： 然后，将 替换成 也许，有些人的xshell不可行，则ctrl 阅读全文
posted @ 2018-05-06 09:59 大数据和AI躺过的坑 阅读(1202) 评论(0) 推荐(0) 编辑
Spark Shell启动时遇到<console>:14: error: not found: value spark import spark.implicits._ <console>:14: error: not found: value spark import spark.sql错误的解决办法（图文详解）
摘要：不多说，直接上干货！ 最近，开始，进一步学习spark的最新版本。由原来经常使用的spark-1.6.1，现在来使用spark-2.2.0-bin-hadoop2.6.tgz。 前期博客 Spark on YARN模式的安装（spark-1.6.1-bin-hadoop2.6.tgz + hadoo 阅读全文
posted @ 2017-08-28 21:37 大数据和AI躺过的坑 阅读(17480) 评论(1) 推荐(0) 编辑
Spark交互式工具Spark Shell
摘要：不多说，直接上干货！ REPL Read-Eval-Print-Loop，即交互式shell，以交互式方式来编程。 那么，什么是REPL呢，如下就是 Spark REPL (scala) (python) （其他） 这里不多说 Spark shell Spark的scala REPL，支持使用sca 阅读全文
posted @ 2017-04-09 16:07 大数据和AI躺过的坑 阅读(8720) 评论(0) 推荐(1) 编辑
从Spark-Shell到SparkContext的函数调用路径过程分析（源码）
摘要：不急，循序渐进，先打好基础 Spark shell的原理 首先，我们清晰定位找到这几个。 1、spark-shell 2、 spark-submit 3、spark-class 4、SparkSubmit.scala 5、SparkILoop.scala createSparkContext的源码 阅读全文
posted @ 2016-09-25 11:13 大数据和AI躺过的坑 阅读(1463) 评论(0) 推荐(0) 编辑
Spark shell里的语句探索
摘要：不多说，直接上干货！ 获得垃圾链接数据集的命令如下： wget http://www-stat.stanford.edu/~tibs/ElemStatLearn/datasets/spam.data scala> val inFile = sc.textFile("./spam.data） 这行代码 阅读全文
posted @ 2016-09-11 14:43 大数据和AI躺过的坑 阅读(409) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示