12 2016 档案

运行 Spark on YARN
摘要：运行 Spark on YARN Spark 0.6.0 以上的版本添加了在yarn上执行spark application的功能支持，并在之后的版本中持续的 改进。关于本文的内容是翻译官网的内容，大家也可参考spark的官网地址：http://spark.apache.org/docs/lates 阅读全文
posted @ 2016-12-27 19:16 丹江湖畔养蜂子赵大爹 阅读(316) 评论(0) 推荐(0) 编辑
Jenkins console输出乱码???
摘要：jenkins console输出乱码??? 在jenkins中job执行shell，console中出现乱码如下： jenkins job的配置如下： 构建 Execute Shell: 其中，job的shell构建中 echo "$LANG" 的输出结果是“zh_CN.UTF 8”；但系统终端中 阅读全文
posted @ 2016-12-12 20:10 丹江湖畔养蜂子赵大爹 阅读(930) 评论(0) 推荐(0) 编辑
spark的standlone模式安装和application 提交
摘要：spark的standlone模式安装 安装一个standlone模式的spark集群，这里是最基本的安装，并测试一下如何进行任务提交。 require：提前安装好jdk 1.7.0_80 ；scala 2.11.8 可以参考官网的说明：http://spark.apache.org/docs/la 阅读全文
posted @ 2016-12-08 19:30 丹江湖畔养蜂子赵大爹 阅读(1306) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示