2018年1月11日

安装部署Spark 1.x Standalone模式集群
摘要： Configuration spark-env.sh HADOOP_CONF_DIR=/opt/data02/hadoop-2.6.0-cdh5.4.0/etc/hadoop JAVA_HOME=/opt/modules/jdk1.7.0_67 SCALA_HOME=/opt/modules/sca 阅读全文
posted @ 2018-01-11 14:03 admingy 阅读(149) 评论(0) 推荐(0) 编辑
Hadoop的伪分布式的安装
摘要： 查看下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.4.0-src.tar.gz 解压hadoop-2.6.0-cdh5.4.0-src.tar.gz 在etc/hadoop下修改下面文件 修改salves为主机名hostn 阅读全文
posted @ 2018-01-11 11:13 admingy 阅读(85) 评论(0) 推荐(0) 编辑
Spark编译的三种方式
摘要： 有三种编译方式，此文采用make-distribution.sh编译 其余两种为maven 和SBT编译 1.配置jdk 配置maven 配置scala 2.修改spark下make-distribution.sh中的配置 减少下载时间 查看下载地址：http://archive.cloudera. 阅读全文
posted @ 2018-01-11 09:45 admingy 阅读(441) 评论(0) 推荐(0) 编辑
Maven国内源设置 - OSChina国内源失效了，别更新了
摘要： Maven国内源设置 - OSChina国内源失效了，别更新了 原文：http://blog.csdn.net/chwshuang/article/details/52198932 最近在写一个Spring4.x + SpringMVC+Mybatis零配置的文章，使用的源配的是公司的私有仓库，但是 阅读全文
posted @ 2018-01-11 09:31 admingy 阅读(395) 评论(0) 推荐(0) 编辑

导航