摘要： 创建SparkContext对象的时候需要传递SparkConf对象，SparkConf至少需要包含spark.master和spark.app.name这两个参数，不然的话程序不能正常运行 maven pom.xml如下 打包提交spark集群运行 本地运行如果hdfs权限有问题，则可以按如下配置 阅读全文

摘要： 下载地址：http://pan.baidu.com/s/1nvwIoa9 (Jfrog/Nexus) maven 仓库： http://mvnrepository.com/ 用户名密码分别是：admin/admin123 使用持续集成服务器（CI）： HUDSON jenkins 阅读全文

摘要： clone 源码 git clone git://github.com/apache/spark.git maven编译源码 国外镜像比较慢，此处修改maven仓库的镜像为阿里云镜像： 编译的时候内存设置大一点，以免内存溢出，导致编译失败，此处设置maven内存如下： mvn -Pyarn -Pha 阅读全文

摘要： 启动spark-shell客户端 spark自带的交互式shell程序，可以在该命令行下使用scala编写spark程序 启动spark-shell bin/spark-shell \--master spark://m1:7077 \--executor-memory 512m \--total- 阅读全文

摘要： 下载 wget http://apache.fayea.com/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz 解压 tar -zxvf apache-maven-3.3.9-bin.tar.gz 配置环境变量 vi /etc/p 阅读全文

摘要： centeros 安装git yum -y install git clone代码 git colne git://github.com/apache/spark.git 阅读全文

摘要： 官方安装地址：http://spark.apache.org/docs/latest/spark-standalone.html 1、下载，根据hadoop和spark的兼容性，下载spark版本，由于本地安装的hadoop是2.6，因此，下载的spark版本是spark-1.6.3-bin-had 阅读全文

摘要： 官网 http://sqoop.apache.org/ 简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中 阅读全文

摘要： flume官网 http://flume.apache.org/ 安装 1、下载flume安装包apache-flume-1.6.0-bin.tar.gz 2、解压apache-flume-1.6.0-bin.tar.gz 3、重命名 4、配置操作系统环境变量 5、修改flume-env.sh中JA 阅读全文

摘要： public class KafkaTopo { public static void main(String[] args) { String zkRoot = "/kafka-storm"; String spoutId = "KafkaSpout"; BrokerHosts brokerHosts = new ZkHosts("m2:2181,m7:2181,m8:218... 阅读全文