摘要: //返回有效的参数,会通过打印的方式给spark-class的 exec "${CMD[@]}"执行 /** '\0'和空格不是同一个概念。 '\0'表示字符串结束符,代表字符串结束,而空格是一个普通字符,显示在文本中可以选中。 '\0'的ASCII码为0,空格的ASCII码为32,两个不是同一个字 阅读全文
posted @ 2018-09-29 16:26 一直爬行的蜗牛牛 阅读(1373) 评论(0) 推荐(0) 编辑
摘要: spark-shell/spark-submit/pyspark等关系如下: 初始化环境变量SPARK_SCALA_VERSION, 调用%SPARK_HOME%/conf/spark-env.sh加载用户自定义环境变量 阅读全文
posted @ 2018-09-29 10:25 一直爬行的蜗牛牛 阅读(1056) 评论(0) 推荐(0) 编辑
摘要: spark-shell 作用: 调用spark-submit脚本,如下参数 --classorg.apache.spark.repl.Main --name "Spark shell" "$@",如下: 具体流程是: #1 捕获终端信号,执行退出方法,恢复一些操作 #2 保存终端配置,当cygwin 阅读全文
posted @ 2018-09-29 10:13 一直爬行的蜗牛牛 阅读(1303) 评论(0) 推荐(0) 编辑